人腦以高效著稱，它以稀疏的表征方式存儲(chǔ)和處理信息。在任何時(shí)刻，只有一小部分神經(jīng)元處于活躍狀態(tài)。神經(jīng)科學(xué)家相信，他們可以將大腦啟發(fā)的邏輯映射到運(yùn)行AI模型的算法、數(shù)據(jù)結(jié)構(gòu)和架構(gòu)中，從而提供一個(gè)讓AI降低功耗的配方。數(shù)據(jù)科學(xué)家是否愿意改變他們基于蠻力計(jì)算的AI實(shí)踐，這一點(diǎn)尚未確定，因?yàn)檫@種方法似乎越來(lái)越難以為繼。

正自籌資金起家的初創(chuàng)公司并不多見(jiàn)，更不用說(shuō)這家公司在神經(jīng)科學(xué)研究領(lǐng)域玩了18年的長(zhǎng)線游戲之后，突然推出了一款商業(yè)軟件產(chǎn)品。

更重要的是，這家初創(chuàng)公司的新產(chǎn)品直接向炙手可熱的大語(yǔ)言模型（LLM）AI市場(chǎng)發(fā)出了挑戰(zhàn)。

這家公司就是Numenta，它承諾其受神經(jīng)科學(xué)啟發(fā)的軟件可以大幅降低在CPU上運(yùn)行LLM的功耗。

持懷疑態(tài)度的人可能會(huì)認(rèn)為這種策略是投機(jī)取巧。Numenta的CEO Subutai Ahmad認(rèn)為，這種說(shuō)法并不用準(zhǔn)確。

Numenta將數(shù)十年的神經(jīng)科學(xué)研究應(yīng)用于商業(yè)產(chǎn)品的手段、動(dòng)機(jī)和機(jī)遇都出現(xiàn)在AI領(lǐng)域。Numenta的研究人員特別注意到了AI科學(xué)家依靠蠻力計(jì)算來(lái)實(shí)現(xiàn)transformer的方式。

當(dāng)然，神經(jīng)科學(xué)和AI并非完全形同陌路。這兩個(gè)學(xué)科在二十世紀(jì)五六十年代相互影響，后來(lái)逐漸分道揚(yáng)鑣。不過(guò)，Ahmad表示，神經(jīng)科學(xué)和AI一直孤立地存在著，這點(diǎn)令人驚訝。

以ChatGPT為例。

盡管ChatGPT已是當(dāng)紅炸子雞，但Ahmad認(rèn)為，ChatGPT消耗的能源太多，最終將難以為繼。他認(rèn)為，只有應(yīng)用神經(jīng)科學(xué)的基本原理，開(kāi)發(fā)者才能改變AI邁向死胡同軌跡。

了解Numenta

Numenta與其它大多數(shù)初創(chuàng)公司的區(qū)別在于，其聯(lián)合創(chuàng)始人Jeff Hawkins、Donna Dubinsky和Dileep George的履歷、經(jīng)驗(yàn)和專業(yè)知識(shí)。

Hawkins在90年代是著名的Palm Pilot PDA的設(shè)計(jì)師。之后，他又在Handspring開(kāi)創(chuàng)了名為T(mén)reo的智能手機(jī)。

Dubinsky曾在1980年代負(fù)責(zé)管理Apple的部分分銷網(wǎng)絡(luò)，又曾任Palm的CEO，后來(lái)與Hawkins共同創(chuàng)辦了Handspring。

2005年，AI和神經(jīng)科學(xué)研究員Dileep George與Hawkins和Dubinsky合作。

每位聯(lián)合創(chuàng)始人都為Numenta帶來(lái)了技術(shù)、創(chuàng)業(yè)和激情方面的獨(dú)特面向，而Hawkins則因癡迷腦科學(xué)而聞名，他是Numenta的公眾導(dǎo)師。他撰寫(xiě)了兩本書(shū)，“On Intelligence”（2004年與Sandra Blakeslee合著）和“A Thousand Brains: A new theory of intelligence”（2021 年）。他在科學(xué)雜志上發(fā)表的許多論文經(jīng)常被大量引用。

但具有諷刺意味的是，神經(jīng)科學(xué)的進(jìn)步主要局限于研究機(jī)構(gòu)，對(duì)商業(yè)市場(chǎng)影響甚微。據(jù)Numenta的CEO Ahmad稱，只有極少數(shù)實(shí)驗(yàn)室積極將神經(jīng)科學(xué)應(yīng)用于AI?！拔覀兛赡苁俏ㄒ灰患覈L試這樣做的公司。”

他說(shuō)，Numenta很幸運(yùn)能走到今天，但他認(rèn)為ChatGPT是一個(gè)“巨大的功耗”。Ahmad堅(jiān)信，Numenta基于神經(jīng)科學(xué)的數(shù)據(jù)結(jié)構(gòu)和算法能為L(zhǎng)LM帶來(lái)更高的效率。

Numenta的商業(yè)產(chǎn)品

Numenta上周推出的第一款產(chǎn)品是AI軟件“NuPIC（Numenta Platform for Intelligent Computing）”。

NuPIC是為現(xiàn)有transformer設(shè)計(jì)的即插即用軟件，可以在CPU上以“極高的吞吐量和低延遲”運(yùn)行LLM，該公司稱，“速度明顯快于Nvidia A100 GPU”。

Ahmad解釋說(shuō)，NuPIC將作為“企業(yè)軟件”授權(quán)給“希望將LLM納入工作流程的企業(yè)”。他強(qiáng)調(diào)說(shuō)，Numenta不提供云服務(wù)，因此這不是SaaS。NuPIC授權(quán)用戶將在自己的基礎(chǔ)設(shè)施中安裝該軟件，因此“數(shù)據(jù)和模型對(duì)他們來(lái)說(shuō)是完全私有的”。

Numenta產(chǎn)品的關(guān)鍵之一是它可以“直接插入”現(xiàn)有的transformer。Ahmad說(shuō)：“在外界看來(lái)，它并沒(méi)有什么不同。因此，下圖中的中間部分和界面看起來(lái)與AI世界已經(jīng)知道的完全相同。你甚至可以把傳統(tǒng)的transformer換成我們的transformer，整個(gè)東西仍然可以工作?！?/p>

Numenta聲稱，其基于神經(jīng)科學(xué)的AI解決方案“能讓客戶實(shí)現(xiàn)10到100倍以上的性能提升”。這些數(shù)字似乎好得不像真的，但該公司并非憑空捏造。Numenta有與Intel合作完成的案例研究為證。

與Intel和Xilinx的合作

Intel今年在其Xeon Max系列和第四代Intel Xeon可擴(kuò)展處理器上發(fā)布了x86指令集架構(gòu)的新擴(kuò)展，稱為AMX（Advanced Matrix Extensions）。AMX設(shè)計(jì)用于矩陣，以加速AI工作負(fù)載的矩陣乘法。

Numenta的團(tuán)隊(duì)從去年開(kāi)始與Intel合作，當(dāng)時(shí)Intel正在開(kāi)發(fā)AMX。Ahmad解釋說(shuō)，Intel正在“利用CPU并添加類似于GPU的指令來(lái)進(jìn)行矩陣乘法運(yùn)算。但它仍然是CPU，而這些CPU非常靈活”。

Ahmad說(shuō)，這種靈活性使Numenta“可以將我們的算法移植到這些芯片上”。Intel的一份文件指出：“Numenta展示了他們定制訓(xùn)練的LLM在Intel Xeon CPU Max系列處理器上運(yùn)行時(shí)，與當(dāng)前一代AMD Milan CPU的實(shí)現(xiàn)相比，在處理器上配備高帶寬內(nèi)存的LLM在大型文檔（長(zhǎng)序列長(zhǎng)度）上的運(yùn)行速度要快20倍。”

Intel總結(jié)說(shuō)，Numenta已經(jīng)證明“有能力大幅降低在Intel上運(yùn)行語(yǔ)言模型的總體成本，為客戶釋放全新的自然語(yǔ)言處理能力”。

Numenta的Ahmad則更進(jìn)一步說(shuō)：“我們可以讓transformer運(yùn)行得比Nvidia GPU更快?！?/p>

現(xiàn)在判斷Numenta的軟件是否真的是Nvidia GPU Killer還為時(shí)尚早。但在Ahmad看來(lái)，Numenta從神經(jīng)科學(xué)中學(xué)到的基本原理讓公司處于優(yōu)勢(shì)地位?！斑@并不是說(shuō)我們有什么魔法能讓速度提高100倍。我們所做的是減少計(jì)算量。這就是大腦的工作。這就是我們提高效率的方法?！?/p>

Numenta技術(shù)的應(yīng)用范圍包括計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別和機(jī)器人技術(shù)。

在語(yǔ)音識(shí)別領(lǐng)域，Numenta已經(jīng)與Xilinx（已被AMD收購(gòu)）開(kāi)展了合作。Numenta演示了其大腦啟發(fā)的稀疏算法如何輔助機(jī)器學(xué)習(xí)，該算法在Xilinx現(xiàn)成的FPGA和GSC（Google Speech Commands）數(shù)據(jù)集上運(yùn)行。根據(jù)Numenta提交的案例研究，該公司展示了“利用稀疏性擴(kuò)展深度學(xué)習(xí)模型的巨大優(yōu)勢(shì)”。

神經(jīng)科學(xué)與AI

那么，究竟什么是神經(jīng)科學(xué)，它與AI有何不同？

神經(jīng)科學(xué)側(cè)重于了解神經(jīng)系統(tǒng)（大腦、脊髓和外周神經(jīng)）的基本特性以及它們?nèi)绾伟l(fā)揮作用。相比之下，AI的興趣在于開(kāi)發(fā)機(jī)器來(lái)完成通常與人類智能相關(guān)的任務(wù)。

正如Ahmad所解釋的，在人工神經(jīng)網(wǎng)絡(luò)的早期，AI在很大程度上受到了神經(jīng)科學(xué)的啟發(fā)。Ahmad說(shuō)：“20世紀(jì)40年代，Donald Hebb提出了神經(jīng)元可以學(xué)習(xí)的最初想法，而且神經(jīng)元可以學(xué)習(xí)模式。這啟發(fā)了最早的人工神經(jīng)元，當(dāng)時(shí)被稱為感知器（perceptron）?！?/p>

他補(bǔ)充說(shuō)，神經(jīng)科學(xué)還啟發(fā)了“反向傳播（backpropagation）”，這是深度學(xué)習(xí)的核心學(xué)習(xí)算法，一直沿用至今。

David Hunter Hubel和Torsten Wiesel共同獲得了1981年諾貝爾獎(jiǎng)，他們研究了視覺(jué)皮層的結(jié)構(gòu)和功能。Ahmad解釋說(shuō)，他們極大地增強(qiáng)了人類對(duì)視覺(jué)系統(tǒng)如何按層次學(xué)習(xí)物體特征的理解，首先從邊緣到角落，然后到形狀，最后到物體。

Ahmad強(qiáng)調(diào)說(shuō)：“這種對(duì)層次結(jié)構(gòu)和特征檢測(cè)的理解直接啟發(fā)了卷積網(wǎng)絡(luò)，這種核心架構(gòu)甚至被用于當(dāng)今的計(jì)算機(jī)視覺(jué)領(lǐng)域?！?/p>

直到Ahmad感興趣的90年代初，神經(jīng)科學(xué)家和深度學(xué)習(xí)研究人員之間的互動(dòng)還很普遍。

不知從何時(shí)起，AI開(kāi)始專注于GPU和計(jì)算。隨著GPU速度越來(lái)越快，網(wǎng)絡(luò)也越來(lái)越大。隨著計(jì)算機(jī)越來(lái)越強(qiáng)大，數(shù)據(jù)科學(xué)家依賴的數(shù)據(jù)也越來(lái)越多。AI成了更強(qiáng)大和更多閃存的代名詞。

Ahmad援引這一背景，認(rèn)為當(dāng)今的AI存在兩個(gè)基本問(wèn)題。其弱點(diǎn)在于“無(wú)法持續(xù)學(xué)習(xí)”，以及對(duì)“過(guò)多數(shù)據(jù)”的貪得無(wú)厭。

根據(jù)他的定義，真正的智能系統(tǒng)是“不斷學(xué)習(xí)”的。他說(shuō)，AI系統(tǒng)首先在實(shí)驗(yàn)室中接受訓(xùn)練，然后部署到現(xiàn)實(shí)世界中。但它們不會(huì)不斷學(xué)習(xí)。

與人類不斷漸進(jìn)地學(xué)習(xí)不同，代碼還不能真正地“學(xué)習(xí)”。Ahmad在最近的一篇文章中寫(xiě)道：“如果一個(gè)AI模型今天犯了一個(gè)錯(cuò)誤，那么它將繼續(xù)重復(fù)這個(gè)錯(cuò)誤，直到使用新的數(shù)據(jù)對(duì)它進(jìn)行重新訓(xùn)練。”

他說(shuō)：“作為人類，我們通過(guò)四處走動(dòng)來(lái)學(xué)習(xí)，我們了解世界的結(jié)構(gòu)，甚至做出預(yù)測(cè)?！?/p>

想想AI模型是如何學(xué)會(huì)識(shí)別一種新車型的。

Ahmad說(shuō)，人類只需要看到“一個(gè)例子。我會(huì)從另一個(gè)角度、一天中的不同時(shí)間或在下雨天都可以認(rèn)出那輛車”。Ahmad說(shuō)，深度學(xué)習(xí)系統(tǒng)沒(méi)有真實(shí)的世界模型，“你必須向它們展示數(shù)以千計(jì)的各種圖像”?！八仨氂涀∵@輛車的每一個(gè)可能的角度”。

神經(jīng)形態(tài)（neuromorphic）計(jì)算與神經(jīng)科學(xué)有何不同？Ahmad解釋說(shuō)，神經(jīng)形態(tài)計(jì)算是“神經(jīng)科學(xué)和AI這一更廣泛領(lǐng)域的一個(gè)子集”。雖然神經(jīng)形態(tài)工程的重點(diǎn)通常是構(gòu)建新的、能效極高的硬件系統(tǒng)，但Ahmad說(shuō)：“我們正在開(kāi)發(fā)更多的軟件和算法。我們將能夠利用芯片行業(yè)正在進(jìn)行的所有創(chuàng)新，包括CPU、GPU以及所有SIMD指令和架構(gòu)。”

融資情況

Ahmad說(shuō)，Numenta的資金主要來(lái)自董事會(huì)內(nèi)部，其中包括Hawkins和Dubinsky，但也有一些外部投資者。

目前，Numenta規(guī)模仍然很小，只有20名員工。Ahmad補(bǔ)充說(shuō)：“現(xiàn)在，Numenta正在走向商業(yè)化，我們將在明年的某個(gè)時(shí)候，很可能是今年晚些時(shí)候，進(jìn)行一輪大規(guī)模融資。”

過(guò)去二十年來(lái)，神經(jīng)科學(xué)家和數(shù)據(jù)科學(xué)家之間的分化很有啟發(fā)性。硅谷通過(guò)一個(gè)非常男性化的方式實(shí)現(xiàn)了驚人的發(fā)展，更大更快的CPU和GPU永遠(yuǎn)是贏家。但如今，他們需要想辦法從拼肌肉的死胡同過(guò)渡到基于效率的模式。






審核編輯：劉清