DeepMind新年力作《學(xué)習(xí)和評估通用語言智能》，從全新的角度對跨任務(wù)NLP模型進行了評估，探討了要實現(xiàn)“通用語言智能”現(xiàn)如今的研究還缺失什么，以及如何實現(xiàn)通用語言智能。

2014年11月，那時候還沒有被廣泛認知為“深度學(xué)習(xí)教父”的Geoffrey Hinton，在國外網(wǎng)站Reddit回答網(wǎng)友提問的活動“AMA” (Ask Me Anything) 中表示，他認為未來5年最令人激動的領(lǐng)域，將是機器真正理解文字和視頻。

Hinton說：“5年內(nèi)，如果計算機沒能做到在觀看YouTube視頻后能夠講述發(fā)生了什么，我會感到很失望。”

幸好，現(xiàn)在計算機已經(jīng)能夠在觀看一段視頻后簡述其內(nèi)容，但距離Hinton所說的“真正理解文字和視頻”，還有很遠的距離。

無獨有偶，統(tǒng)計機器學(xué)習(xí)大神Michael I. Jordan在2014年9月Reddit AMA中也提到，如果他有10億美金能夠組建研究項目，他會選擇構(gòu)建一個NASA規(guī)模的自然語言處理 (NLP) 計劃，包括語義學(xué)、語用學(xué)等分支。

Jordan說：“從學(xué)術(shù)上講，我認為NLP是個引人入勝的問題，既讓人專注于高度結(jié)構(gòu)化的推理，也觸及了‘什么是思維 (mind)’ 這一核心，還非常實用，能讓世界變得更加美好?！?/p>

一直以來，NLP/NLU (自然語言理解) 都被視為人工智能桂冠上的明珠，不僅因其意義重大，也表示著目標(biāo)距我們遙不可及。

總之，NLP是個大難題。

前段時間在業(yè)內(nèi)廣泛流傳的一篇“人工智障”的文章，本質(zhì)上講的就是目前NLP領(lǐng)域的困境?？v使有谷歌BERT模型所帶來的各項指標(biāo)飛躍，但要讓計算機真正“理解”人類的語言，需要的恐怕不止是時間。

在最近一篇發(fā)布在Arxiv上的論文中，DeepMind的研究人員對“通用語言智能” (General Linguistic Intelligence) 做了定義，并探討了機器如何學(xué)習(xí)并實現(xiàn)通用語言智能。

DeepMind新年力作《學(xué)習(xí)和評估通用語言智能》

實現(xiàn)通用語言智能，首先需要統(tǒng)一的評估標(biāo)準(zhǔn)

DeepMind的研究人員從語言的角度出發(fā)，根據(jù)近來不斷發(fā)展的“通用人工智能”(AGI)的配套能力，也即能夠讓智能體與虛擬環(huán)境實現(xiàn)交互而發(fā)展出通用的探索、規(guī)劃和推理能力，將“通用語言智能”定義為：

能夠徹底應(yīng)對各種自然語言任務(wù)的復(fù)雜性；

有效存儲和重用各種表示 (representations)、組合模塊 (combinatorial modules, 如將單詞組成短語、句子和文檔的表示），以及先前獲得的語言知識，從而避免災(zāi)難性遺忘；

在從未經(jīng)歷過的新環(huán)境中適應(yīng)新的語言任務(wù)，即對領(lǐng)域轉(zhuǎn)換的魯棒性。

作者還指出，如今在NLP領(lǐng)域存在一種非常明顯且不好的趨勢，那就是越來越多的數(shù)據(jù)集通過眾包完成，量的確是大了，特別是在體現(xiàn)人類語言的“概括” (generalization) 和“抽象” (abstraction) 能力方面大打折扣，并不貼近現(xiàn)實中的自然分布。

此外，對于某一特定任務(wù)(比如問答)，存在多個不同的數(shù)據(jù)集。因此，單獨看在某個數(shù)據(jù)集上取得的結(jié)果，很容易讓我們高估所取得的進步。

所以，要實現(xiàn)通用語言智能，或者說朝著這個方向發(fā)展，首先需要確定一個統(tǒng)一的評估標(biāo)準(zhǔn)。在本文中，為了量化現(xiàn)有模型適應(yīng)新任務(wù)的速度，DeepMind的研究人員提出了一個基于在線前序編碼 (online prequential coding) 的新評估指標(biāo)。

接下來，就讓我們看看現(xiàn)有的各個state-of-the-art模型性能如何。

對現(xiàn)有最先進模型的“五大靈魂拷問”

作者選用了兩個預(yù)訓(xùn)練模型，一個基于BERT，一個基于ELMo。其中，BERT(base)擁有12個Transformer層，12個自注意力指針和768個隱藏層，這個預(yù)訓(xùn)練模型中有1.1億個參數(shù)。另一個則基于ELMo(base)，這個預(yù)訓(xùn)練模型有將近1億個參數(shù)，300個雙向LSTM層，100個輸出層。

另有BERT/ELMo(scratch)，表示沒有經(jīng)過預(yù)訓(xùn)練，從頭開始的模型。

首先，作者考察了需要多少與領(lǐng)域知識相關(guān)的訓(xùn)練樣本，兩個模型才能在SQuAD閱讀理解和MNLI自然語言推理這兩個任務(wù)上取得好的表現(xiàn)。

縱軸F1代表在SQuAD閱讀理解數(shù)據(jù)集上的得分函數(shù)，橫軸代表訓(xùn)練樣本量的對數(shù)值

答案是4萬。而且，與領(lǐng)域知識相關(guān)的訓(xùn)練樣本量超過4萬以后，兩個模型的提升都不明顯，非要說的話，BERT模型在兩項任務(wù)中比ELMo稍好一點。

那么，改用在其他數(shù)據(jù)集上預(yù)訓(xùn)練過的模型，同樣的任務(wù)性能又能提高多少呢？答案是一點點。但在代碼長度上，預(yù)訓(xùn)練過的模型要顯著優(yōu)于沒有經(jīng)過預(yù)訓(xùn)練的模型。

預(yù)訓(xùn)練模型(+supervised)與非預(yù)訓(xùn)練模型性能比較

作者考察的第三點是這些模型的泛化能力。實驗結(jié)果表明，在SQuAD數(shù)據(jù)集上表現(xiàn)最好的模型，移到其他數(shù)據(jù)集，比如Trivia、QuAC、QA-SRL、QA-ZRE后，仍然需要額外的相關(guān)訓(xùn)練樣本。這個結(jié)果在意料之中，但再次凸顯了“學(xué)會一個數(shù)據(jù)集”和“學(xué)會完成一項任務(wù)”之間存在的巨大鴻溝。

在SQuAD數(shù)據(jù)集上性能最優(yōu)的模型(得分超過80)，在其他數(shù)據(jù)集上分數(shù)大幅降低

最后是有關(guān)學(xué)習(xí)課程 (curriculum) 和災(zāi)難性遺忘的問題。模型忘記此前學(xué)會的語言知識有多快？學(xué)習(xí)課程的設(shè)計與模型的性能之間有什么影響？

(上)將在SQuAD數(shù)據(jù)集上訓(xùn)練好的模型改到MNLI上；(下)將在SQuAD數(shù)據(jù)集上訓(xùn)練好的模型改到TriviaQA。兩種情況模型的性能都大幅下降。

BERT模型用隨機訓(xùn)練課程在各種數(shù)據(jù)集上取得的結(jié)果。實際上經(jīng)過5萬次迭代后，模型就能基本完成各項任務(wù)(超過60分)。

從實驗結(jié)果看，在SQuAD數(shù)據(jù)集上訓(xùn)練好的模型改到MNLI或TriviaQA這些不同數(shù)據(jù)集后，模型性能很快出現(xiàn)大幅下降，說明災(zāi)難性遺忘發(fā)生。

雖然采用連續(xù)學(xué)習(xí)的方法，隨機初始化，5萬次迭代后，兩個模型尤其是BERT，基本上能在各個數(shù)據(jù)集上都達到差強人意的表現(xiàn)。

通過隨機訓(xùn)練，20萬次迭代以后，BERT和ELMo在多項任務(wù)上的得分

但缺點是，這樣的隨機訓(xùn)練模型在開始不需要樣本，轉(zhuǎn)換新任務(wù)以后也不需要保留此前學(xué)會的東西。因此，在連續(xù)學(xué)習(xí)的過程中，知識遷移究竟是如何發(fā)生的，目前還不得而知。

綜上，對一系列在各個不同NLP任務(wù)上取得當(dāng)前最佳性能的模型進行實證評估后，DeepMind的研究人員得出結(jié)論：雖然NLP領(lǐng)域如今在模型設(shè)計方面取得了令人矚目的進展，而且這些模型在很多時候都能同時完成不止一項任務(wù)，但它們?nèi)匀恍枰罅颗c領(lǐng)域知識相關(guān)的訓(xùn)練樣本 (in-domain training example)，并且很容易發(fā)生災(zāi)難性遺忘。

實現(xiàn)通用語言智能，我們還需要什么？

通過上述實驗可以發(fā)現(xiàn)，現(xiàn)有的state-of-the-art NLP模型幾乎全部都是：

擁有超大規(guī)模參數(shù)的深度學(xué)習(xí)模型；

事先以監(jiān)督或非監(jiān)督的的方式在訓(xùn)練樣本上經(jīng)過訓(xùn)練；

通常包含了多個針對某項特定任務(wù)的構(gòu)件以完成多項任務(wù)；

默認或者說假設(shè)某項任務(wù)的數(shù)據(jù)分布是平均的。

這種方法雖然合理，但仍舊需要大量與領(lǐng)域知識相關(guān)的訓(xùn)練樣本，并且非常容易發(fā)生災(zāi)難性遺忘。

因此，要實現(xiàn)通用語言智能，DeepMind研究人員在論文最后的討論中指出，我們還需要：更加復(fù)雜的遷移學(xué)習(xí)和連續(xù)學(xué)習(xí)方法 (transfer and continual learning method)，能讓模型快速跨領(lǐng)域執(zhí)行任務(wù)的記憶模塊 (memory module)，訓(xùn)練課程 (training curriculum) 的選擇對模型性能的影響也很重要，在生成語言模型 (generative language models) 方面的進展，也將有助于實現(xiàn)通用語言智能。