深度學(xué)習(xí)（DL）或者人工神經(jīng)網(wǎng)絡(luò)（ANN）模擬了生物神經(jīng)元？

這是個很大的誤解。

ANN充其量模仿了一個1957年面世的低配版神經(jīng)元。

任何宣稱深度學(xué)習(xí)的靈感來源于生物的人都是出于種種營銷目的，或者他壓根就沒讀過生物學(xué)文獻(xiàn)。

不過，仿生系統(tǒng)研究怕是要遇到阻礙了。

兩篇最近發(fā)表于Cell上的神經(jīng)元基因Arc的新發(fā)現(xiàn)，揭示了生物神經(jīng)元更大的復(fù)雜性，其遠(yuǎn)比我們想象得復(fù)雜得多。

大數(shù)據(jù)文摘微信公眾號后臺對話框回復(fù)“生物”獲取論文

深度學(xué)習(xí)里的神經(jīng)元實(shí)質(zhì)上是數(shù)學(xué)函數(shù)，即相似度函數(shù)。在每個人工神經(jīng)元內(nèi)，帶權(quán)重的輸入信號和神經(jīng)元的閾值進(jìn)行比較，匹配度越高，激活函數(shù)值為1并執(zhí)行某種動作的可能性就越大，不執(zhí)行（對應(yīng)函數(shù)值為0）的可能性越小。

雖然有個別例外情況（比如自回歸神經(jīng)網(wǎng)絡(luò)Autoregressive networks），但多數(shù)深度學(xué)習(xí)算法都是這樣工作的，比如感知器（perceptron）、卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）以及循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network， RNN）。

生物神經(jīng)元和深度學(xué)習(xí)的概念大不相同。

生物神經(jīng)元并不會保持連續(xù)信號，而是產(chǎn)生動作電位，或者依據(jù)事件做出相應(yīng)行為。

因此，所謂“神經(jīng)形態(tài)”（neuromorphic）的硬件，也就是受到“整合信息，然后發(fā)送信號”（integrate and spike）的神經(jīng)元的啟發(fā)。

如果你對構(gòu)建一個仿生認(rèn)知系統(tǒng)感興趣，可以看看今年2月這篇普度大學(xué)的論文。你必須知道的是，這類系統(tǒng)并不像深度學(xué)習(xí)框架那樣具有連續(xù)作用性。

大數(shù)據(jù)文摘微信公眾號后臺對話框回復(fù)“生物”獲取論文

從本質(zhì)上來講，生物系統(tǒng)利用最少的能量來維持生存，但深度學(xué)習(xí)系統(tǒng)需要消耗非常多的能量，對比十分鮮明。深度學(xué)習(xí)采用蠻力手段（不斷嘗試和犯錯）來實(shí)現(xiàn)認(rèn)知，我們知道它的運(yùn)作原理，但是還不知道怎么減少深度學(xué)習(xí)的能耗。

一直以來，學(xué)術(shù)界一直以來希望用仿生手段創(chuàng)造出比深度學(xué)習(xí)更加強(qiáng)大的體系，雖然在這個方面努力了很久，但是進(jìn)展尚不明顯。已經(jīng)取得的進(jìn)展有HTM神經(jīng)元，它更貼近新大腦皮層（neo-cortex）結(jié)構(gòu)。從下圖中可以看出，這種神經(jīng)元模型要比深度學(xué)習(xí)中的神經(jīng)元復(fù)雜得多。

左：深度學(xué)習(xí)ANN，中：生物神經(jīng)元，右：HTM神經(jīng)元

相比之下，深度學(xué)習(xí)方法雖然用的是和卡通一樣簡單的神經(jīng)元模型，近一段時間以來卻意外大顯身手，在認(rèn)知方面取得了讓人難以置信的成效。深度學(xué)習(xí)所做的事情非常正確，只是我們還不了解它做的究竟是什么。

不過，仿生系統(tǒng)研究怕是要遇到阻礙了。以色列的一個關(guān)于神經(jīng)元性質(zhì)的新實(shí)驗(yàn)表明，生物中的神經(jīng)元比我們想象得復(fù)雜得多：

大數(shù)據(jù)文摘微信公眾號后臺對話框回復(fù)“生物”獲取論文

總結(jié)一下，生物神經(jīng)元的這些特性我們才剛剛知道：

單個神經(jīng)元的峰電位波形通常隨著刺激部位的不同而改變，兩者的關(guān)系可以用函數(shù)表達(dá)；

在細(xì)胞外，從不同方向施加的刺激并不能引起空間性加成（Spatial summation）；

當(dāng)細(xì)胞內(nèi)外刺激交疊時，不會產(chǎn)生空間性加成或者空間性相減（Spatial subtraction）。如果這些刺激的精確時值互不相關(guān)，那么非局部時間的干擾也不能奏效。

簡而言之，一個神經(jīng)元里所發(fā)生的事情遠(yuǎn)不止“計算-輸出”這么簡單。

生物神經(jīng)元很可能不是隨著單一參數(shù)（也就是權(quán)重）而改變的純函數(shù)能夠描述的。它們更像是能顯示各種狀態(tài)的機(jī)器。換句話說，權(quán)重或許不是單值，而是多重值的，甚至是更高維度的。這些神經(jīng)元的性質(zhì)仍有待探索，我們對此幾乎一無所知。

如果你覺得這樣的解釋讓理解神經(jīng)元性質(zhì)變得更難了，那還有兩篇最近發(fā)表于Cell上的神經(jīng)元基因Arc的新發(fā)現(xiàn)，揭示了更大的復(fù)雜性。

神經(jīng)元釋放的細(xì)胞外囊泡中，很多都含有一種叫做Arc的基因，可以幫助神經(jīng)元之間相互建立連接。那些被基因改造后缺乏Arc基因的小鼠難以形成長期記憶，而人類的一些神經(jīng)功能障礙也與這個基因有關(guān)。

這項(xiàng)研究表明，神經(jīng)元之間的交流是通過發(fā)送成套RNA編碼實(shí)現(xiàn)的。更準(zhǔn)確地說，是成套的指令而非數(shù)據(jù)。發(fā)送編碼和發(fā)送數(shù)據(jù)完全是兩碼事。這也就意味著，一個神經(jīng)元的行為可以改變另一個神經(jīng)元的行為；不是通過觀察，而是通過彼此修正。

這種編碼交換機(jī)制隱隱證實(shí)了一些早期的猜想：“生物大腦僅僅是由離散的邏輯構(gòu)成的嗎？”

實(shí)驗(yàn)結(jié)果揭示了一個新的事實(shí)。即使在我們認(rèn)知的最小單位，也就是單個神經(jīng)元之間，也存在著一種對話式的認(rèn)知（conversational cognition）。這種認(rèn)知不斷修正神經(jīng)元彼此的行為。

因此，神經(jīng)元不僅是有不同狀態(tài)的機(jī)器，也是預(yù)先設(shè)定了指令的、能相互發(fā)送編碼的通路。

這些實(shí)驗(yàn)對我們有兩點(diǎn)明確的啟示。

第一，我們對人類大腦計算能力的估計可能偏差了至少一個數(shù)量級。

如果粗略地設(shè)定一個神經(jīng)元只執(zhí)行一次運(yùn)算，那么整體上看人類大腦可以完成每秒38拍字節(jié)（Peta）的運(yùn)算（1拍字節(jié)=10^15字節(jié)）。

如果假定深度學(xué)習(xí)模型里的運(yùn)算都等價于浮點(diǎn)數(shù)的運(yùn)算，那么大腦的性能可以匹敵一個每秒3.8億億次浮點(diǎn)運(yùn)算的電腦系統(tǒng)。當(dāng)前最頂尖的超級計算機(jī)——中國的神威·太湖之光（Sunway Taihulight）的峰值性能是每秒12.5億億次/秒。

然而，大腦的實(shí)際運(yùn)算能力很有可能是我們認(rèn)為的10倍之多，也就是38億億次/秒。不過顯而易見的是，生物大腦實(shí)際上只用了較少的計算就實(shí)現(xiàn)了非常多的認(rèn)知。

第二，未來在探究深度學(xué)習(xí)架構(gòu)時，人們會很熱心地采用內(nèi)部結(jié)構(gòu)更復(fù)雜的神經(jīng)元或者節(jié)點(diǎn)。

現(xiàn)在到了重新開始，并探究更復(fù)雜的神經(jīng)元的時候了。迄今為止，我們遇到的比較復(fù)雜的神經(jīng)元類型來自于長短期記憶（Long Short Term Memory， LSTM）。以下展示的是針對LSTM神經(jīng)元的蠻力架構(gòu)搜索：

目前尚不清楚為什么這些更復(fù)雜的LSTM更為有效，只有架構(gòu)搜索算法才明白其中緣由，不過算法可不會解釋自己是怎么回事的。

最近發(fā)布的一篇來自CMU和蒙特利爾大學(xué)的論文探究了設(shè)計更為復(fù)雜的LSTMs。

大數(shù)據(jù)文摘微信公眾號后臺對話框回復(fù)“生物”獲取論文

Nested LSTMs相對于標(biāo)準(zhǔn)的LSTMs實(shí)現(xiàn)了重大改進(jìn)。

綜上所述，致力于探究更加復(fù)雜的神經(jīng)元類型的研究計劃可能會帶來豐碩的成果，甚至可以和把復(fù)數(shù)值應(yīng)用于神經(jīng)網(wǎng)絡(luò)上帶來的碩果相提并論。

在復(fù)數(shù)神經(jīng)網(wǎng)絡(luò)中，只有應(yīng)用于RNN才能體現(xiàn)出性能的改善。這也表明，要想超越簡單的感知，內(nèi)部神經(jīng)元復(fù)雜度可能是必需的。

這些復(fù)雜性對于更高級的認(rèn)知是必要的，這是現(xiàn)有深度學(xué)習(xí)認(rèn)知系統(tǒng)所不具備的。無論是對抗特征的強(qiáng)健性，還是讓機(jī)器學(xué)會忘記、學(xué)會忽略什么、學(xué)習(xí)抽象和識別上下文語境的切換，都是相當(dāng)復(fù)雜的事。

預(yù)計在不久的將來，這一領(lǐng)域會出現(xiàn)更多積極大膽的研究。畢竟，大自然已經(jīng)明確地告訴我們，神經(jīng)元個體是更復(fù)雜的，因而我們創(chuàng)造的神經(jīng)元模型也可能需要更復(fù)雜。