人工神經(jīng)網(wǎng)絡(luò)是用計算機來模擬人類大腦的AI技術(shù)，這一方法取得了很大的成功，谷歌設(shè)計的“阿爾法狗”已經(jīng)在圍棋運動上終結(jié)了人類的統(tǒng)治。而在進(jìn)一步拓展AI的應(yīng)用領(lǐng)域時，研究人員遇到了“前學(xué)后忘”的問題。MIT的專家發(fā)現(xiàn)，要解決這個問題，需要繼續(xù)向人類的大腦學(xué)習(xí)。

對當(dāng)前最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以很快的讓AI學(xué)會處理許多復(fù)雜的任務(wù)。但是當(dāng)人們給AI進(jìn)行新任務(wù)的訓(xùn)練時，發(fā)現(xiàn)之前AI曾經(jīng)處理過的任務(wù)被迅速地忘掉了——學(xué)的有多快，忘的就有多快，這種痛苦大概每個輔導(dǎo)過孩子功課的家長都能體會。而一般的解決方法是把之前對AI的訓(xùn)練存儲起來，如果忘了就重新訓(xùn)練一下，但是這個辦法會導(dǎo)致AI所占用的運算和存儲資源暴增，開銷巨大，是不可持續(xù)的。

麻省理工大學(xué)阿默斯特分校和貝勒醫(yī)學(xué)院的人工智能（AI）專家在新發(fā)表的論文中，介紹了一種新的方法來解決AI的“災(zāi)難性遺忘”問題。他們是在分析和模仿人類學(xué)習(xí)和記憶機制的基礎(chǔ)上，開發(fā)了新的方法來讓AI能記住曾經(jīng)學(xué)會的東西。

與AI神經(jīng)網(wǎng)絡(luò)不同的是，人類可以在早期課程的基礎(chǔ)上不斷累積信息，人類的大腦用來保護(hù)這些重要記憶的機制是再現(xiàn)，或者說是重放代表這些記憶的神經(jīng)元活動模式。

作者之一的西格爾曼說，該團(tuán)隊的主要見解在于“認(rèn)識到大腦中的重放不會存儲數(shù)據(jù)”。相反，“大腦可以在更高、更抽象的層次上生成記憶的表示，而無需生成詳細(xì)的記憶?！?受此啟發(fā)，她和同事們創(chuàng)造了類似于大腦的人工回放，其中沒有存儲任何數(shù)據(jù)。相反，就像大腦一樣，網(wǎng)絡(luò)會生成以前所見事物的高級表示。 事實證明，“抽象的生成性大腦重放”非常有效，并且該團(tuán)隊表明重放僅幾個生成的表示足以記住舊記憶，同時學(xué)習(xí)新記憶。生成性重放不僅可以防止災(zāi)難性的遺忘，而且還為系統(tǒng)學(xué)習(xí)提供了一種新的，更簡化的路徑，它還使系統(tǒng)可以將學(xué)習(xí)從一種情況推廣到另一種情況。 例如，如果讓具有生成性重放功能的AI首先學(xué)會將貓與狗分開，然后將熊與狐貍分開，那么它在沒有經(jīng)過專門培訓(xùn)的情況下也能區(qū)分貓和狐貍。而且，值得注意的是，系統(tǒng)學(xué)到的越多，學(xué)習(xí)新任務(wù)越好。 西格爾曼和同事認(rèn)為：“我們提出了一種全新的，受大腦啟發(fā)的重放變體，其中重放由網(wǎng)絡(luò)自身的上下文調(diào)制反饋連接生成的內(nèi)部或隱藏表示形式。我們的方法可實現(xiàn)最新的性能在不存儲數(shù)據(jù)的情況下不斷學(xué)習(xí)處理新任務(wù)，它為大腦中的抽象水平重放提供了一種新穎的模型?！?

有個關(guān)于教育的調(diào)侃這樣說：走出校門之后，大部分東西很快就忘記了，而最終留在大腦中的，就是你真正學(xué)到的東西。MIT開發(fā)的的這種機制像是讓AI自己總結(jié)了自己的“學(xué)習(xí)經(jīng)驗”，并將其應(yīng)用到新的任務(wù)當(dāng)中。

參考文獻(xiàn)：

1.https://techxplore.com/news/2020-09-brain-memory-abilities-ai-experts.html 2.https://www.nature.com/articles/s41467-020-17866-2

責(zé)任編輯：xj

原文標(biāo)題：克服人工智能的“災(zāi)難性遺忘”

文章出處：【微信公眾號：知社學(xué)術(shù)圈】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。