人的遺忘是策略式的，而機(jī)器的遺忘是計(jì)算式的。

人工智能越來(lái)越頻繁地出現(xiàn)在人們的生活中，而其技術(shù)上的重大進(jìn)步仍然不曾明朗。本文作者Natalie Fratto在“Machine Un-Learning: Why Forgetting Might Be the Key to AI”一文中講述了實(shí)現(xiàn)人工智能戰(zhàn)略性遺忘的三個(gè)方法。

讓我們先直面那些事情一團(tuán)糟的情況。你不記得自己把鑰匙放在了哪里，你不記得剛剛在雜貨店遇到的同事的名字因而只能磕磕絆絆地說(shuō)著話，這都令你異常沮喪。然而，遺忘是人類(lèi)得以生存的核心。事實(shí)上，我們必須對(duì)自己有能力做到這一點(diǎn)感到幸運(yùn)。

對(duì)于人類(lèi)來(lái)說(shuō)，遺忘不僅僅意味著記憶的遺失，也意味著這也是一個(gè)幫助大腦吸收新知識(shí)并有效做出決策的積極過(guò)程。

現(xiàn)在，數(shù)據(jù)科學(xué)家正在應(yīng)用神經(jīng)科學(xué)原理改進(jìn)機(jī)器學(xué)習(xí)技術(shù)，他們相信人類(lèi)的大腦是完全揭開(kāi)人工智能面紗的關(guān)鍵。

根據(jù)最近發(fā)表在《神經(jīng)元》（Neuron）雜志上的一篇論文所言，人們的大腦充當(dāng)著信息過(guò)濾器的角色。它能輸入一大堆亂七八糟的數(shù)據(jù)，再過(guò)濾出有用的數(shù)據(jù)，然后清除所有無(wú)關(guān)的細(xì)節(jié)，從而使人們能夠成功講述一個(gè)故事或者是做出決定。這種刪除未使用信息，以便為接受新信息騰出空間的行為，就如同清理計(jì)算機(jī)上的磁盤(pán)空間。用神經(jīng)生物學(xué)術(shù)語(yǔ)表示，當(dāng)神經(jīng)元之間的連接隨著時(shí)間的推移變得減弱甚至是消失時(shí)，遺忘就會(huì)發(fā)生，而隨著新神經(jīng)元的出現(xiàn)，它們會(huì)重新連接海馬體的回路并覆蓋現(xiàn)有記憶。

對(duì)于人類(lèi)來(lái)說(shuō)，遺忘的發(fā)生帶來(lái)兩個(gè)好處：

它通過(guò)減少過(guò)時(shí)信息對(duì)人們產(chǎn)生的影響來(lái)提高決策靈活性。

它能夠預(yù)防人們過(guò)度沉浸于某些過(guò)去的特定事件，提高適應(yīng)能力。

人們?yōu)榱擞行нm應(yīng)發(fā)展，必須具備戰(zhàn)略性遺忘的能力。

但是電腦又能如何呢？

這即是人工智能所面臨的最大挑戰(zhàn)之一，計(jì)算機(jī)的遺忘邏輯與人類(lèi)的情況不同。深度神經(jīng)網(wǎng)絡(luò)是一系列機(jī)器學(xué)習(xí)任務(wù)中完成度最高的技術(shù)，但是它不會(huì)像人們那樣去遺忘。

舉個(gè)簡(jiǎn)單的例子，如果你要教一個(gè)會(huì)說(shuō)英語(yǔ)的孩子學(xué)習(xí)西班牙語(yǔ)，那么他會(huì)將學(xué)習(xí)英語(yǔ)過(guò)程中的相關(guān)經(jīng)驗(yàn)應(yīng)用到學(xué)習(xí)西班牙語(yǔ)的過(guò)程中，這有可能是名詞、動(dòng)詞時(shí)態(tài)和句子結(jié)構(gòu)等，同時(shí)忽略掉那些不相關(guān)的部分，比如口音、晦澀詞語(yǔ)和語(yǔ)調(diào)等。孩子們可以基于戰(zhàn)略性遺忘策略不斷地學(xué)習(xí)與重建。

神經(jīng)網(wǎng)絡(luò)的邏輯與此不同，如果一個(gè)神經(jīng)網(wǎng)絡(luò)被訓(xùn)練學(xué)習(xí)英語(yǔ)，那么其會(huì)通過(guò)調(diào)用參數(shù)解決英語(yǔ)問(wèn)題。如果你想教它學(xué)習(xí)西班牙語(yǔ)，那么神經(jīng)網(wǎng)絡(luò)對(duì)于西班牙語(yǔ)的認(rèn)知就會(huì)覆蓋掉之前為英語(yǔ)學(xué)習(xí)所儲(chǔ)備的知識(shí)，有效清空所有內(nèi)容并從零開(kāi)始。我們將其稱(chēng)為“災(zāi)難性遺忘”，“這是神經(jīng)網(wǎng)絡(luò)所面臨的基本局限之一。”

攻克這一局限是一個(gè)全新領(lǐng)域，但是科學(xué)家已經(jīng)在關(guān)于如何克服這種局限性所涉及的潛在理論的探索上取得了長(zhǎng)足的進(jìn)步。

人工智能學(xué)會(huì)戰(zhàn)略性遺忘：三種方法

一. 長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM，Long Short Term Memory Networks）

長(zhǎng)短期記憶網(wǎng)絡(luò)是一種遞歸式神經(jīng)網(wǎng)絡(luò)，它通過(guò)特定的學(xué)習(xí)機(jī)制決定在什么時(shí)候記住哪些信息，更新哪些信息，注意哪些信息。

用電影類(lèi)比來(lái)解釋長(zhǎng)短期記憶網(wǎng)絡(luò)工作的邏輯十分簡(jiǎn)單易懂。想象這么一種場(chǎng)景，一臺(tái)電腦通過(guò)分析之前的場(chǎng)景來(lái)預(yù)測(cè)電影接下來(lái)會(huì)發(fā)生什么。在某個(gè)場(chǎng)景中，一個(gè)女人拿著一把刀，電腦會(huì)猜她是廚師還是殺人犯？在另一個(gè)場(chǎng)景中，這個(gè)女人在一個(gè)金色拱門(mén)下面同一個(gè)男人一起吃著壽司，他們是在日本還是在麥當(dāng)勞？或者是能確定他們?cè)谑ヂ芬姿梗?/p>

這的確非常難以預(yù)測(cè)。

長(zhǎng)短期記憶網(wǎng)絡(luò)則在這一過(guò)程中幫助神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)1）遺忘/記憶，2）保存，3）聚焦。

1. 遺忘/記憶：“例如，在一個(gè)場(chǎng)景結(jié)束后，模型應(yīng)該忘記當(dāng)前的位置信息、時(shí)間信息，并重置任何有關(guān)場(chǎng)景的特定信息。但是，如果某個(gè)角色在某個(gè)場(chǎng)景中死去了，那么它需要記住這個(gè)人已經(jīng)不再會(huì)出現(xiàn)。因此，我們希望模型能夠?qū)W習(xí)一種單獨(dú)的遺忘/記憶機(jī)制：當(dāng)新的信息出現(xiàn)時(shí)，它需要知道哪些信息需要保留而哪些信息需要丟棄?！?/p>

2. 保存：當(dāng)模型看到一個(gè)新圖像時(shí)，它需要了解這個(gè)圖像的信息是否值得使用和保存。如果某個(gè)場(chǎng)景中一個(gè)女人走過(guò)了一個(gè)廣告牌，是記住這個(gè)廣告牌，還是僅僅將其視為冗余？

3. 聚集：模型需要記住電影中的這位女性是一個(gè)母親，因?yàn)橹蟮膱?chǎng)景會(huì)出現(xiàn)她孩子的畫(huà)面。但是如果在某個(gè)場(chǎng)景中女人并沒(méi)有出現(xiàn)，那么這一信息就顯得不甚重要，所以在這個(gè)場(chǎng)景中模型不需要關(guān)注這一信息。同樣，并非所有存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)長(zhǎng)期記憶中的東西每一次都會(huì)發(fā)揮直接相關(guān)的作用。因此，長(zhǎng)短期記憶網(wǎng)絡(luò)需要幫助確定模型在某個(gè)特定時(shí)間需要關(guān)注哪些部分，同時(shí)將所有信息妥善保管。

二 彈性權(quán)重固化（EWC，Elastic Weight Consolidation）

彈性權(quán)重固化是谷歌旗下DeepMind的研究人員于2017年3月創(chuàng)建的一種算法，該算法模擬了一種叫做“突觸整合”的神經(jīng)科學(xué)過(guò)程。在突觸整合過(guò)程中，人們的大腦會(huì)進(jìn)行任務(wù)評(píng)估，計(jì)算眾多用于執(zhí)行任務(wù)的神經(jīng)元的重要性，并確認(rèn)一些神經(jīng)元所扮演的重要角色使其對(duì)正確執(zhí)行任務(wù)發(fā)揮更加重要的作用。這些關(guān)鍵性神經(jīng)元被標(biāo)記上重要程度并使其在后續(xù)任務(wù)中被覆蓋的幾率減小。在神經(jīng)網(wǎng)絡(luò)中也有多個(gè)如神經(jīng)元的連接用于執(zhí)行任務(wù)。彈性權(quán)重固化將某些連接編碼標(biāo)注上關(guān)鍵性，從而保護(hù)其不被過(guò)度寫(xiě)入遺忘/記憶程序。

三. 瓶頸理論（Bottleneck Theory）

2017年秋天，在人工智能社區(qū)的一次演講中，來(lái)自耶路撒冷希伯來(lái)大學(xué)的計(jì)算機(jī)科學(xué)家與神經(jīng)學(xué)家納夫塔利·提斯比講述了其稱(chēng)之為“瓶頸理論”的觀點(diǎn)?！捌渌枷胧?，一個(gè)網(wǎng)絡(luò)會(huì)排除掉那些無(wú)關(guān)重要的嘈雜的輸入數(shù)據(jù)，這就如同通過(guò)瓶頸向其中壓縮信息，只保留與一般概念最相關(guān)的特性。”

正如提斯比所解釋的那樣，神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)過(guò)程中需要經(jīng)歷兩個(gè)階段，擬合與壓縮。在擬合過(guò)程中，網(wǎng)絡(luò)對(duì)其訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)記。而在更為復(fù)雜的壓縮過(guò)程中，其“將基于標(biāo)記的數(shù)據(jù)信息只追蹤那些具備巨大特征的信息。”而這一過(guò)程對(duì)于之后的概化過(guò)程極為重要。在此過(guò)程中，壓縮是一種策略上的遺忘方式，人工智能研究人員可以在未來(lái)用其構(gòu)建更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)和框架。

正如提斯比所言，“學(xué)習(xí)過(guò)程中最重要的環(huán)節(jié)是遺忘?！?/p>

人類(lèi)的大腦可能蘊(yùn)藏著創(chuàng)造強(qiáng)大人工智能的圖解，而如今科學(xué)家們?nèi)匀煌Ａ粼谌绾谓庾x這些可能的層面。