沃特金斯和她的研究小組發(fā)現(xiàn)，連續(xù)不斷的無監(jiān)督學(xué)習(xí)之后，網(wǎng)絡(luò)仿真變得不穩(wěn)定。當(dāng)他們將網(wǎng)絡(luò)暴露于類似于活腦在睡眠中經(jīng)歷的波動的狀態(tài)時，穩(wěn)定性得以恢復(fù)。沃特金斯說：“好像我們在給神經(jīng)網(wǎng)絡(luò)一樣，可以睡個好覺。”

這一發(fā)現(xiàn)是在研究團(tuán)隊致力于開發(fā)神經(jīng)網(wǎng)絡(luò)時得出的，該網(wǎng)絡(luò)與人類和其他生物系統(tǒng)如何學(xué)習(xí)看得很近。該小組最初努力使穩(wěn)定的模擬神經(jīng)網(wǎng)絡(luò)經(jīng)受無監(jiān)督的字典訓(xùn)練，該訓(xùn)練涉及對對象進(jìn)行分類，而無需事先進(jìn)行示例比較。

洛斯·阿拉莫斯（Los Alamos）的計算機科學(xué)家和研究合著者加勒特·凱尼恩（Garrett Kenyon）說：“只有在嘗試?yán)蒙飳W(xué)上逼真的尖峰神經(jīng)形態(tài)處理器或試圖了解生物學(xué)本身時，才會出現(xiàn)如何使學(xué)習(xí)系統(tǒng)變得不穩(wěn)定的問題?！薄敖^大多數(shù)機器學(xué)習(xí)，深度學(xué)習(xí)和AI研究人員從未遇到過這個問題，因為在他們研究的非常人工的系統(tǒng)中，他們可以執(zhí)行全局?jǐn)?shù)學(xué)運算，從而具有調(diào)節(jié)系統(tǒng)整體動態(tài)增益的作用?！?/p>

研究人員將決定使網(wǎng)絡(luò)暴露于人工模擬睡眠的決定是將其穩(wěn)定的最后努力。他們對各種類型的噪聲進(jìn)行了實驗，大致可與調(diào)諧收音機時在電臺之間遇到的靜態(tài)噪聲相媲美。當(dāng)他們使用所謂的高斯噪聲波時，最好的結(jié)果是出現(xiàn)的，其中包括范圍廣泛的頻率和幅度。他們假設(shè)該噪聲模仿了慢波睡眠過程中生物神經(jīng)元接收到的輸入。結(jié)果表明，慢波睡眠可能在某種程度上起到了確保皮質(zhì)神經(jīng)元維持其穩(wěn)定性而不產(chǎn)生幻覺的作用。

小組的下一個目標(biāo)是在英特爾的Loihi神經(jīng)形態(tài)芯片上實現(xiàn)他們的算法。他們希望讓Loihi時不時地進(jìn)入睡眠狀態(tài)，使其能夠穩(wěn)定地實時處理來自硅視網(wǎng)膜相機的信息。如果這些發(fā)現(xiàn)證實了人造大腦需要睡眠，那么我們可能會期望未來可能出現(xiàn)的android和其他智能機器也是如此。

沃特金斯將于6月14日在西雅圖的“計算機視覺中的女性”研討會上介紹這項研究。