大部分人不會(huì)喜歡遺忘的感覺?；氐郊翼樖职谚€匙丟在一個(gè)角落就再也想不起來放在哪兒了，街角偶遇一個(gè)同事卻怎么拍腦袋也叫不出他的名字……我們害怕遺忘，討厭遺忘。

然而，生而為人，健忘其實(shí)是種關(guān)鍵能力。對(duì)于人類而言，遺忘絕不僅僅是“想不起來”，而是一個(gè)幫助大腦吸收新信息并鍛煉有效決策的積極過程?，F(xiàn)在，數(shù)據(jù)科學(xué)家們正在嘗試應(yīng)用神經(jīng)科學(xué)原理來改進(jìn)機(jī)器學(xué)習(xí)，并且堅(jiān)信人類大腦能夠解鎖圖靈完備的人工智能。

人腦為什么需要遺忘

我們的大腦被普遍認(rèn)作為信息過濾器。先放入一大堆亂七八糟的數(shù)據(jù)，篩選有用的信息，然后清理任何不相關(guān)的細(xì)節(jié)，用以陳述故事或作出決策。清除沒用的細(xì)節(jié)是為了給新數(shù)據(jù)騰出儲(chǔ)存空間，類似在計(jì)算機(jī)上運(yùn)行磁盤清理。

用神經(jīng)生物學(xué)的術(shù)語來說，遺忘發(fā)生于神經(jīng)元之間的突觸連接減弱或者消失之時(shí)，同時(shí)隨著新神經(jīng)元的發(fā)育，他們又會(huì)重新連接海馬回路，覆蓋現(xiàn)有記憶。

對(duì)于人類來說，遺忘有兩個(gè)好處：

通過減少過時(shí)信息對(duì)我們決策的影響來增強(qiáng)靈活性

防止過度擬合過去的特定事件和促進(jìn)概括能力

為了有效地適應(yīng)環(huán)境，人類需要有策略性遺忘的能力。

計(jì)算機(jī)也需要遺忘？

計(jì)算機(jī)的遺忘與人類的不同，這是人工智能面臨的一大挑戰(zhàn)。深度神經(jīng)網(wǎng)絡(luò)在完成機(jī)器學(xué)習(xí)任務(wù)方面非常成功，但它們的遺忘方式也與我們不一樣。

舉一個(gè)簡(jiǎn)單的例子，如果你教一個(gè)講英語的孩子學(xué)習(xí)西班牙語，這個(gè)孩子會(huì)在學(xué)習(xí)過程中應(yīng)用英語學(xué)習(xí)的技巧，比如名詞、動(dòng)詞動(dòng)態(tài)、句子建立方法等。同時(shí)他會(huì)忘記那些不相關(guān)的部分，比如口音、嘟囔、語調(diào)等。如此，這個(gè)孩子可以在策略性遺忘的同時(shí)逐漸學(xué)習(xí)和建立新的思維方式。

相比之下，如果你已經(jīng)訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)去學(xué)習(xí)英語，那么它的參數(shù)則已經(jīng)適應(yīng)了英語問題的解法。此時(shí)你要教它學(xué)習(xí)西班牙語，它就會(huì)生成新的適應(yīng)系統(tǒng)并覆蓋以前為學(xué)習(xí)英語所獲得的知識(shí)，刪除所有內(nèi)容并重新開始。這被稱作“災(zāi)難性遺忘”，并被認(rèn)為是“神經(jīng)網(wǎng)絡(luò)的一個(gè)根本局限”。

雖然這還是一個(gè)新領(lǐng)域，最近科學(xué)家們已經(jīng)在探索克服這種限制的潛在理論，并取得了長(zhǎng)足的進(jìn)步。

3個(gè)方法教AI學(xué)會(huì)遺忘

長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）

LSTM是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，它使用特定的學(xué)習(xí)機(jī)制來決定在任意一個(gè)節(jié)點(diǎn)哪些信息需要記住，哪些需要更新，哪些需要關(guān)注。

LSTM工作機(jī)制如何？一個(gè)簡(jiǎn)單的解釋是拿電影來做類比：假設(shè)一個(gè)計(jì)算機(jī)正在嘗試通過分析先前的場(chǎng)景來預(yù)測(cè)電影中接下來會(huì)發(fā)生的事。一個(gè)場(chǎng)景是一個(gè)女人拿著一把刀，計(jì)算機(jī)會(huì)猜測(cè)她是一個(gè)廚師還是兇手呢？另一個(gè)場(chǎng)景中，一個(gè)女人和一個(gè)男人在金色拱門下吃壽司：計(jì)算機(jī)會(huì)猜他們是在日本還是麥當(dāng)勞呢？或者其實(shí)他們是在圣路易斯？

大拱門是美國(guó)圣路易斯的標(biāo)志性建筑

LSTM通過以下3步提升神經(jīng)網(wǎng)絡(luò)：

遺忘/記憶

“當(dāng)場(chǎng)景結(jié)束，模型應(yīng)該忘記當(dāng)前場(chǎng)景的位置，所處時(shí)間，并重置任何特定場(chǎng)景的信息；然而，如果場(chǎng)景中的一個(gè)角色死亡了，機(jī)器則應(yīng)該繼續(xù)記住他不再活著的事實(shí)。因此，我們希望機(jī)器能學(xué)習(xí)掌握一個(gè)相互獨(dú)立的遺忘/記憶機(jī)制，這樣當(dāng)新信息進(jìn)來時(shí)，它知道什么觀念該保留什么該丟棄?！?/p>

——Edwin Chen

保存

當(dāng)模型看到一張新圖像，它需要了解這個(gè)圖像是否有什么信息值得被使用和保存。如果一個(gè)女人在某個(gè)場(chǎng)景中路過廣告牌，機(jī)器應(yīng)該記住這個(gè)廣告牌還是將其視作噪聲數(shù)據(jù)忽略掉呢？

劃重點(diǎn)

我們可能需要記住電影中的這個(gè)女人是個(gè)母親這一信息點(diǎn)，因?yàn)槲覀兩院髸?huì)看見她的孩子們，但是這個(gè)信息在她不出現(xiàn)的場(chǎng)景里可能并不重要，所以在那些場(chǎng)景里我們不需要重點(diǎn)關(guān)注。同樣，并非所有存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)的長(zhǎng)期記憶中的內(nèi)容都是立即相關(guān)的，所以LSTM所做的就是在安全保存所有信息備用的同時(shí)，幫助決定哪一部分在哪一時(shí)刻被重點(diǎn)關(guān)注。

彈性權(quán)重固化（EWC）

EWC是由谷歌旗下DeepMind的研究人員于2017年3月創(chuàng)建的一種算法，旨在模擬一種被稱為突觸整合的神經(jīng)科學(xué)過程。在突觸整合過程中，我們的大腦評(píng)估一項(xiàng)任務(wù)，計(jì)算許多用于執(zhí)行任務(wù)的神經(jīng)元的重要性，同時(shí)權(quán)衡哪些神經(jīng)元對(duì)正確執(zhí)行任務(wù)更為重要。

這些關(guān)鍵的神經(jīng)元被編譯為重要的，并且在隨后的任務(wù)中相對(duì)不可能被覆蓋。同樣，在神經(jīng)網(wǎng)絡(luò)中，多個(gè)連接（如神經(jīng)元）被用于執(zhí)行任務(wù)。EWC將一些連接編譯為至關(guān)重要的，從而保護(hù)他們不被覆蓋/遺忘。

在下面的圖表中，你可以看到研究人員將EWC應(yīng)用于Atari游戲時(shí)發(fā)生了什么。藍(lán)線表示標(biāo)準(zhǔn)的深度學(xué)習(xí)過程，紅線及棕線則由EWC提供以顯示改進(jìn)后的結(jié)果：

瓶頸理論

瓶頸理論由耶路撒冷希伯來大學(xué)的計(jì)算機(jī)科學(xué)家和神經(jīng)科學(xué)家Naftali Tishby在2017年秋提出。這個(gè)構(gòu)想是，網(wǎng)絡(luò)擺脫了嘈雜的無關(guān)細(xì)節(jié)的輸入數(shù)據(jù)，就好比用瓶頸將信息擠壓，只保留與基本概念最相關(guān)的特征。

Tishby解釋說，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了兩個(gè)階段的學(xué)習(xí)——擬合與壓縮。在擬合過程中，網(wǎng)絡(luò)標(biāo)記其訓(xùn)練數(shù)據(jù)；而在更漫長(zhǎng)的壓縮過程中，它“丟棄關(guān)于數(shù)據(jù)的信息，只跟蹤最強(qiáng)大的特征”，也即是那些最能幫助它泛化的特征。通過這種方式，壓縮成為策略性遺忘的一種方式，掌控這一瓶頸也可能成為AI研究人員用于構(gòu)建未來更強(qiáng)大神經(jīng)網(wǎng)絡(luò)的新目標(biāo)和體系的一個(gè)工具。

正如Tishby所說：“遺忘才是學(xué)習(xí)過程中最重要的一部分?！?/p>

人類大腦和遺忘的過程中，有可能藏著通往強(qiáng)AI的密碼。但科學(xué)家們?nèi)栽谏舷虑笏鳌?/p>