研究了半天人工神經(jīng)網(wǎng)絡(luò)，還不如復(fù)制粘貼動物的答案？

最近一段時間，有關(guān)摩爾定律終結(jié)的討論時常出現(xiàn)，深度學(xué)習(xí)越來越高的算力需求與芯片制造廠商們「擠牙膏」式的換代速度產(chǎn)生了不可調(diào)和的矛盾。對此，一些研究者們正在專注于常規(guī)架構(gòu)的效率提升，也有一些研究者把目光轉(zhuǎn)向于常規(guī)計算機體系之外，如光電計算、類腦計算，以及量子計算等方向。

現(xiàn)在，又有人想在動物身上尋找思路。在 1 月 13 日剛剛放榜的人工智能頂級會議ICLR 2021上出現(xiàn)了這樣一篇論文：研究者們「黑」進(jìn)了果蠅的神經(jīng)網(wǎng)絡(luò)，用它來跑 NLP 算法，結(jié)果發(fā)現(xiàn)性能與常規(guī)人工神經(jīng)網(wǎng)絡(luò)相當(dāng)，而且非常節(jié)約能耗。

這一通操作仿佛打開了新世界的大門。

神經(jīng)科學(xué)中研究最深入的網(wǎng)絡(luò)之一是果蠅的大腦，尤其是稱為蘑菇體的部分。該部分能夠分析氣味、溫度、濕度和視覺數(shù)據(jù)等感官輸入，以便于果蠅學(xué)會區(qū)分友好刺激和危險刺激。神經(jīng)科學(xué)家表示果蠅大腦的這一部分是由一組稱為投射神經(jīng)元的細(xì)胞組成，這些細(xì)胞將感覺信息傳遞給 2000 個稱為 Kenyon 細(xì)胞（簡稱KC）的神經(jīng)元，Kenyon 細(xì)胞連接在一起形成能夠?qū)W習(xí)的神經(jīng)網(wǎng)絡(luò)。這讓果蠅在學(xué)習(xí)接近食物、潛在伴侶等時候，學(xué)會避免潛在的有害感官輸入（例如危險的氣味和溫度）。

這個相對較小的網(wǎng)絡(luò)具備的功能和靈活性讓神經(jīng)科學(xué)家們好奇：是否可以對其進(jìn)行編程以解決其他任務(wù)？

在倫斯勒理工學(xué)院、MIT-IBM Watson AI Lab 的研究者進(jìn)行的一項入侵果蠅大腦網(wǎng)絡(luò)的研究中，人們成功地在生物大腦中執(zhí)行了自然語言處理等任務(wù)。這是自然界的神經(jīng)網(wǎng)絡(luò)第一次以這種方式被征用。研究者表示這個生物大腦網(wǎng)絡(luò)與人工學(xué)習(xí)網(wǎng)絡(luò)的性能相當(dāng)，但使用的計算資源卻更少。

這種方法相對簡單直接，該團(tuán)隊首先使用計算機程序重建蘑菇體所依賴的網(wǎng)絡(luò)，大量神經(jīng)元將數(shù)據(jù)提供給大約 2000 個 Kenyon 細(xì)胞。然后研究者訓(xùn)練了該網(wǎng)絡(luò)以識別文本中詞之間的相關(guān)性。該任務(wù)基于的思想是：一個詞可以通過其語境或通常在其附近出現(xiàn)的其他詞來表征。該想法首先從一個文本語料庫開始，然后面向每一個詞，分析出現(xiàn)在該詞前后的其他詞。

這樣機器學(xué)習(xí)系統(tǒng)可以在給定已經(jīng)出現(xiàn)的詞的情況下預(yù)測句子中下一個詞。許多系統(tǒng)（例如 BERT）都使用這種方法來生成看起來自然的句子，該研究也采用了這種方法。事實證明即使自然界的網(wǎng)絡(luò)完全不是基于這一目的進(jìn)化的，但它也非常擅長這種方式。該研究表明該網(wǎng)絡(luò)可以學(xué)習(xí)詞的語義表征。

研究者表示，果蠅的大腦網(wǎng)絡(luò)可與現(xiàn)有的自然語言處理方法相媲美，并且最重要的是生物網(wǎng)絡(luò)僅使用很少一部分計算資源。這意味著它僅使用較少的訓(xùn)練時間和內(nèi)存占用量。

生物的效率

這是一個有趣的結(jié)果?！肝覀儼堰@樣的結(jié)果視為生物啟發(fā)算法普適性的一個范例，其與傳統(tǒng)的非生物算法相比更具效率，」該論文的作者 Yuchen Liang 等人說道。

這項工作除了展示生物計算的效率，還提出了一些有趣的問題。其中最明顯的就是：為什么生物神經(jīng)網(wǎng)絡(luò)計算是如此的高效？當(dāng)然按照進(jìn)化的理論，自然界會選擇效率更高的神經(jīng)網(wǎng)絡(luò)存留下來，但在論文中，研究者們尚未對 Kenyon 細(xì)胞為何具有高效率提出自己的看法。

這項工作顯然也開啟了「入侵」其他生物大腦的方向。不過目前看來人們?nèi)悦媾R一些挑戰(zhàn)，一個潛在的問題是神經(jīng)科學(xué)家們?nèi)匀浑y以對更復(fù)雜化的大腦進(jìn)行表征（如哺乳動物）。果蠅的大腦相對較小，只有 10 萬個神經(jīng)元，相比之下，老鼠的大腦有 1 億個神經(jīng)元，而人類的大腦有 1000 億個神經(jīng)元。因此在我們看到有小鼠、海豚或人類的大腦「被黑客入侵」之前，還需等待一段時間。

研究概況

果蠅腦蘑菇體是神經(jīng)科學(xué)中研究最多的系統(tǒng)之一，其核心由一群 Kenyon 細(xì)胞組成。這些細(xì)胞接受來自多種感官方式的輸入，被伽馬氨基丁酸能神經(jīng)元（Anterior Paired Lateral Neurons，APL 神經(jīng)元）抑制，從而創(chuàng)造了輸入的稀疏高維表征。

具體而言，其主要感知方式是嗅覺，但也有來自感知溫度、濕度、視覺的神經(jīng)元的輸入。這些輸入通過一組突觸權(quán)重傳遞給大約 2000 個 Kenyon 細(xì)胞。Kenyon 細(xì)胞通過 APL 神經(jīng)元相互連接，后者會發(fā)送一個強大的抑制信號到 Kenyon 細(xì)胞。這個循環(huán)網(wǎng)絡(luò)形成了 Kenyon 細(xì)胞之間的贏者通吃效應(yīng)，并讓一小部分「冠軍」神經(jīng)元之外的所有神經(jīng)元都失聲了。

在這項論文中，研究者將該網(wǎng)絡(luò)模體（motif）進(jìn)行了數(shù)學(xué)化建模，并將其應(yīng)用于一項常見的 NLP 任務(wù)：學(xué)習(xí)非結(jié)構(gòu)化文本語料庫中的詞與上下午之間的相關(guān)結(jié)構(gòu)。

該研究提出的網(wǎng)絡(luò)模體如圖 1 所示，KC 也將輸出發(fā)送到蘑菇體輸出神經(jīng)元 (MBON)，但是蘑菇體網(wǎng)絡(luò)的這一部分不包含在數(shù)學(xué)模型中。

圖 1: 網(wǎng)絡(luò)架構(gòu)圖。幾組對應(yīng)不同方式的神經(jīng)元將它們的活動發(fā)送到 KC 層，而 KC 層通過與 APL 神經(jīng)元的相互連接而被抑制。

總體而言，研究貢獻(xiàn)如下：

受果蠅網(wǎng)絡(luò)的啟發(fā)，研究者提出了一種算法，使得為單詞及其上下文生成 binary (相對于連續(xù)) 詞嵌入成為可能，并系統(tǒng)評估了該算法在詞匯相似性任務(wù)、詞義消歧和文本分類等任務(wù)上的表現(xiàn)；

與連續(xù) GloVe 嵌入相比，本文的 binary 嵌入能產(chǎn)生更緊密和更好分離的概念集群，并且符合 GloVe 的 binarized 版本的集群特性；

研究者發(fā)現(xiàn)，訓(xùn)練果蠅網(wǎng)絡(luò)所需要的計算時間比訓(xùn)練傳統(tǒng)的 NLP 架構(gòu)（如 BERT）所需要的計算時間要少一個數(shù)量級，但是在分類準(zhǔn)確率上有所降低。

這一成果展示了人類將自然界算法及行為進(jìn)行「重新編程」，并將其轉(zhuǎn)化為原始生物體從未參與過的任務(wù)的目標(biāo)算法的巨大潛力。

實驗結(jié)果

在論文的第三章，研究者從靜態(tài)詞嵌入、詞聚類、上下文相關(guān)的詞嵌入、文本分類等幾個方面對研究提出的網(wǎng)絡(luò)進(jìn)行了評估，以下是實驗結(jié)果。

靜態(tài)詞嵌入評價

詞聚類

上下文相關(guān)的詞嵌入

文本分類

計算效率

原文標(biāo)題：科學(xué)家「黑進(jìn)」果蠅大腦跑NLP任務(wù)，發(fā)現(xiàn)效率比BERT高

文章出處：【微信公眾號：中科院長春光機所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq