人類需要充足的睡眠才能有最好的狀態(tài)，而最新研究發(fā)現(xiàn)，人工神經(jīng)網(wǎng)絡(luò)也可能受益于長時(shí)間的休息。模擬神經(jīng)網(wǎng)絡(luò)中類似睡眠周期的狀態(tài)，可以消除人工模擬大腦中不間斷的自學(xué)習(xí)帶來的不穩(wěn)定性。

眾所周知，充足的睡眠可以帶來元?dú)鉂M滿的一天，提高工作效率，無論是動(dòng)物還是人類，都可以得到充足睡眠帶來的好處。

而近日洛斯阿拉莫斯國家實(shí)驗(yàn)室 （Los Alamos National Laboratory） 的一項(xiàng)研究表明，人工計(jì)算大腦也可以從睡眠中受益，這種好處與睡眠給人類所帶來的好處類似。

人工計(jì)算大腦的靈感來自于人類大腦的神經(jīng)連接。想象一下，一個(gè)由相互連接的節(jié)點(diǎn)組成的龐大分層網(wǎng)絡(luò)，他們互相通信。一連串的信息波，通過一系列電子發(fā)射穿過結(jié)構(gòu)。網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)或 “神經(jīng)元” 都有自己的數(shù)據(jù)和信號(hào)供應(yīng)，以便將數(shù)據(jù)傳輸?shù)较乱粚庸?jié)點(diǎn)。

隨著時(shí)間的推移，神經(jīng)網(wǎng)絡(luò)調(diào)整這些神經(jīng)元之間獨(dú)特的相互作用，以提高其解決問題的能力。神經(jīng)組合的路線圖會(huì)慢慢地微調(diào)，直到系統(tǒng)為給定的任務(wù)開發(fā)出最佳策略。

人造大腦需要睡眠

在這項(xiàng)研究中，洛斯阿拉莫斯國家實(shí)驗(yàn)室的研究人員重點(diǎn)研究了脈沖神經(jīng)網(wǎng)絡(luò)，它的功能不同于標(biāo)準(zhǔn)的人工神經(jīng)網(wǎng)絡(luò)。這些計(jì)算系統(tǒng)更接近于人腦的神經(jīng)回路，神經(jīng)元在接收到大量輸入信號(hào)后產(chǎn)生一個(gè)信號(hào)?？茖W(xué)家們?nèi)栽趯W(xué)習(xí)如何訓(xùn)練脈沖神經(jīng)網(wǎng)絡(luò)，因?yàn)檫@些系統(tǒng)需要與典型的人工神經(jīng)網(wǎng)絡(luò)完全不同的方法。

洛斯阿拉莫斯國家實(shí)驗(yàn)室的計(jì)算機(jī)科學(xué)家 Yijing Watkins 說道：“我們研究的是脈沖神經(jīng)網(wǎng)絡(luò)，該系統(tǒng)能像人類大腦一樣學(xué)習(xí)。而且我們對(duì)神經(jīng)形態(tài)處理器的一種訓(xùn)練方法有極大的興趣，該方法可以通過模仿人類以及其他生物在童年期從環(huán)境中學(xué)習(xí)的方式來進(jìn)行訓(xùn)練。

Watkins 和她的研究小組發(fā)現(xiàn)，連續(xù)一段時(shí)間的無監(jiān)督學(xué)習(xí)后，神經(jīng)網(wǎng)絡(luò)模擬變得不穩(wěn)定。當(dāng)他們將神經(jīng)網(wǎng)絡(luò)暴露在類似于人類大腦在睡眠時(shí)所經(jīng)歷的波動(dòng)狀態(tài)時(shí)，穩(wěn)定性就恢復(fù)了。Watkins 說：“這就好像我們讓人工神經(jīng)網(wǎng)絡(luò)好好睡了一晚一樣?！?/p>

這一發(fā)現(xiàn)是研究小組在開發(fā)神經(jīng)網(wǎng)絡(luò)時(shí)發(fā)現(xiàn)的，該神經(jīng)網(wǎng)絡(luò)與人類和其他生物系統(tǒng)學(xué)習(xí)的方式非常接近。一開始，研究小組在進(jìn)行無監(jiān)督字典訓(xùn)練時(shí)，很難穩(wěn)定模擬神經(jīng)網(wǎng)絡(luò)，這涉及到對(duì)對(duì)象進(jìn)行分類，而沒有先前的例子來比較它們。

“一般很少會(huì)碰到這種讓學(xué)習(xí)系統(tǒng)更穩(wěn)定的問題，只有在嘗試使用仿生的脈沖神經(jīng)形態(tài)的處理器，或者試圖理解生物學(xué)本身時(shí)，才會(huì)碰到這種問題?！?洛斯阿拉莫斯的計(jì)算機(jī)科學(xué)家和研究合著者 Garrett Kenyon 說，“絕大多數(shù)機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能研究人員從來沒有遇到過這個(gè)問題，因?yàn)樵谒麄冄芯康娜斯は到y(tǒng)中，他們可以執(zhí)行全局?jǐn)?shù)學(xué)運(yùn)算，從而調(diào)節(jié)系統(tǒng)的整體動(dòng)態(tài)增益?！?/p>

研究人員認(rèn)為，將神經(jīng)網(wǎng)絡(luò)暴露在模擬睡眠狀態(tài)下的決定，幾乎是穩(wěn)定網(wǎng)絡(luò)的最后一搏。他們對(duì)各種類型的噪音進(jìn)行了實(shí)驗(yàn)，這些噪音大致相當(dāng)于調(diào)諧收音機(jī)時(shí)可能遇到的電臺(tái)間的靜態(tài)電音。當(dāng)他們使用所謂的高斯噪聲波時(shí)，得到了最好的結(jié)果。

研究小組的下一個(gè)目標(biāo)是在英特爾的 Loihi 神經(jīng)形態(tài)芯片上實(shí)現(xiàn)他們的算法。他們希望讓 Loihi 時(shí)不時(shí)地進(jìn)入睡覺狀態(tài)，使其能夠穩(wěn)定地實(shí)時(shí)處理來自硅視網(wǎng)膜攝像頭的信息。如果這些發(fā)現(xiàn)證實(shí)了人造大腦需要睡眠，我們或許可以期待未來機(jī)器人和其他智能機(jī)器也會(huì)有同樣的情況。

Watkins 團(tuán)隊(duì)在 6 月 14 日的 CVPR 大會(huì)上對(duì)該項(xiàng)研究做了詳細(xì)介紹，文章一經(jīng)發(fā)表，也在 Reddit 網(wǎng)站上引起熱議。

Reddit 熱議：人造大腦真的是在睡覺嗎？

有網(wǎng)友指出，稱人造大腦的穩(wěn)定狀態(tài)類比于睡眠狀態(tài)有待商榷，因?yàn)槿绻覀儾涣私馑撸覀冊(cè)趺茨苷f他們相似或不相似？唯一相似的地方，是噪聲和腦波中存在的波形，該波形隨處可見，并非睡眠獨(dú)有。

而也有網(wǎng)友表達(dá)不同的意見，他認(rèn)為如果我們把 “睡眠” 概念化為一種恢復(fù)退化的認(rèn)知功能的無反應(yīng)的恢復(fù)過程，那么睡眠對(duì)于任何給定的系統(tǒng)都將是一個(gè)不同的過程，但最終功能是相同的，本文所描述的過程甚至可能是相符的。

除此外，有網(wǎng)友質(zhì)疑該研究在很大程度上夸大了人造大腦與睡眠的相似之處，使得它的適用性比現(xiàn)在更加廣泛。

脈沖神經(jīng)網(wǎng)絡(luò)雖然經(jīng)常被譽(yù)為第三代人工神經(jīng)網(wǎng)絡(luò)，但是屬于相當(dāng)小眾的研究領(lǐng)域。對(duì)于傳統(tǒng)的 CNN 來說，這種技術(shù)可能并不需要，因?yàn)樗鼈冊(cè)谟?xùn)練過程中會(huì)不斷地進(jìn)行自我規(guī)則化。

也有網(wǎng)友補(bǔ)充知識(shí)點(diǎn)，生物神經(jīng)網(wǎng)絡(luò)具有固有的延遲，因?yàn)殡娦盘?hào)在網(wǎng)絡(luò)中傳播需要時(shí)間，長時(shí)間訓(xùn)練網(wǎng)絡(luò)也非常困難。

信號(hào)需要時(shí)間流過網(wǎng)絡(luò)，如果正在訓(xùn)練，則需要進(jìn)行反向傳播來加強(qiáng)連接。如果最短路徑和最長路徑之間的時(shí)間差變得太大，則將先處理一條路徑，而另一條路徑仍在傳播。然后當(dāng)后來的輸入進(jìn)入時(shí)，前一個(gè)輸入的潛在處理將破壞新數(shù)據(jù)，即引起“幻覺”。

這位網(wǎng)友指出，研究人員所做的 “重置” 很可能是發(fā)送固定頻率的脈沖，其中或許有一個(gè)作用，就是優(yōu)化由于最近學(xué)習(xí)而加強(qiáng)的路徑，使路徑之間的時(shí)間間隔縮短到某個(gè)閾值以下，以防止幻覺的產(chǎn)生。

該網(wǎng)友還建議將生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)完全區(qū)別對(duì)待。雖然人工神經(jīng)網(wǎng)絡(luò)可能會(huì)受到生物學(xué)的啟發(fā)，但有大量的基本差異使得用一個(gè)來描述另一個(gè)變得困難。