人工神經(jīng)網(wǎng)絡(luò)是用計(jì)算機(jī)來(lái)模擬人類大腦的AI技術(shù)，這一方法取得了很大的成功，谷歌設(shè)計(jì)的“阿爾法狗”已經(jīng)在圍棋運(yùn)動(dòng)上終結(jié)了人類的統(tǒng)治。而在進(jìn)一步拓展AI的應(yīng)用領(lǐng)域時(shí)，研究人員遇到了“前學(xué)后忘”的問(wèn)題。MIT的專家發(fā)現(xiàn)，要解決這個(gè)問(wèn)題，需要繼續(xù)向人類的大腦學(xué)習(xí)。

對(duì)當(dāng)前最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，可以很快的讓AI學(xué)會(huì)處理許多復(fù)雜的任務(wù)。但是當(dāng)人們給AI進(jìn)行新任務(wù)的訓(xùn)練時(shí)，發(fā)現(xiàn)之前AI曾經(jīng)處理過(guò)的任務(wù)被迅速地忘掉了——學(xué)的有多快，忘的就有多快，這種痛苦大概每個(gè)輔導(dǎo)過(guò)孩子功課的家長(zhǎng)都能體會(huì)。而一般的解決方法是把之前對(duì)AI的訓(xùn)練存儲(chǔ)起來(lái)，如果忘了就重新訓(xùn)練一下，但是這個(gè)辦法會(huì)導(dǎo)致AI所占用的運(yùn)算和存儲(chǔ)資源暴增，開銷巨大，是不可持續(xù)的。

麻省理工大學(xué)阿默斯特分校和貝勒醫(yī)學(xué)院的人工智能（AI）專家在新發(fā)表的論文中，介紹了一種新的方法來(lái)解決AI的“災(zāi)難性遺忘”問(wèn)題。他們是在分析和模仿人類學(xué)習(xí)和記憶機(jī)制的基礎(chǔ)上，開發(fā)了新的方法來(lái)讓AI能記住曾經(jīng)學(xué)會(huì)的東西。

與AI神經(jīng)網(wǎng)絡(luò)不同的是，人類可以在早期課程的基礎(chǔ)上不斷累積信息，人類的大腦用來(lái)保護(hù)這些重要記憶的機(jī)制是再現(xiàn)，或者說(shuō)是重放代表這些記憶的神經(jīng)元活動(dòng)模式。

作者之一的西格爾曼說(shuō)，該團(tuán)隊(duì)的主要見解在于“認(rèn)識(shí)到大腦中的重放不會(huì)存儲(chǔ)數(shù)據(jù)”。相反，“大腦可以在更高、更抽象的層次上生成記憶的表示，而無(wú)需生成詳細(xì)的記憶?！?受此啟發(fā)，她和同事們創(chuàng)造了類似于大腦的人工回放，其中沒(méi)有存儲(chǔ)任何數(shù)據(jù)。相反，就像大腦一樣，網(wǎng)絡(luò)會(huì)生成以前所見事物的高級(jí)表示。 事實(shí)證明，“抽象的生成性大腦重放”非常有效，并且該團(tuán)隊(duì)表明重放僅幾個(gè)生成的表示足以記住舊記憶，同時(shí)學(xué)習(xí)新記憶。生成性重放不僅可以防止災(zāi)難性的遺忘，而且還為系統(tǒng)學(xué)習(xí)提供了一種新的，更簡(jiǎn)化的路徑，它還使系統(tǒng)可以將學(xué)習(xí)從一種情況推廣到另一種情況。 例如，如果讓具有生成性重放功能的AI首先學(xué)會(huì)將貓與狗分開，然后將熊與狐貍分開，那么它在沒(méi)有經(jīng)過(guò)專門培訓(xùn)的情況下也能區(qū)分貓和狐貍。而且，值得注意的是，系統(tǒng)學(xué)到的越多，學(xué)習(xí)新任務(wù)越好。 西格爾曼和同事認(rèn)為：“我們提出了一種全新的，受大腦啟發(fā)的重放變體，其中重放由網(wǎng)絡(luò)自身的上下文調(diào)制反饋連接生成的內(nèi)部或隱藏表示形式。我們的方法可實(shí)現(xiàn)最新的性能在不存儲(chǔ)數(shù)據(jù)的情況下不斷學(xué)習(xí)處理新任務(wù)，它為大腦中的抽象水平重放提供了一種新穎的模型。”

有個(gè)關(guān)于教育的調(diào)侃這樣說(shuō)：走出校門之后，大部分東西很快就忘記了，而最終留在大腦中的，就是你真正學(xué)到的東西。MIT開發(fā)的的這種機(jī)制像是讓AI自己總結(jié)了自己的“學(xué)習(xí)經(jīng)驗(yàn)”，并將其應(yīng)用到新的任務(wù)當(dāng)中。

參考文獻(xiàn)：

1.https://techxplore.com/news/2020-09-brain-memory-abilities-ai-experts.html 2.https://www.nature.com/articles/s41467-020-17866-2

責(zé)任編輯：xj

原文標(biāo)題：克服人工智能的“災(zāi)難性遺忘”

文章出處：【微信公眾號(hào)：知社學(xué)術(shù)圈】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。