自然語言處理（NLP），是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)分支，專門研究如何讓機(jī)器理解人類語言和相關(guān)文本，也是發(fā)展通用人工智能技術(shù)亟需攻克的核心難題之一。

不久之后，紐約大學(xué)、華盛頓大學(xué)、劍橋大學(xué)和 Facebook AI 將聯(lián)合推出一套新的自然語言處理（NLP）評(píng)估基準(zhǔn)，名為 SuperGLUE，全稱是 Super General-Purpose Language Understanding。

該系統(tǒng)是現(xiàn)有 GLUE 基準(zhǔn)的升級(jí)版（所以前面加上了 Super）。研究人員刪除了原本 11 項(xiàng)任務(wù)中的 9 項(xiàng)，更新了剩下 2 項(xiàng)，同時(shí)加入了 5 項(xiàng)新的評(píng)估基準(zhǔn)。新版本將更契合未來 NLP 技術(shù)的發(fā)展方向，難度也是大幅增加，更具挑戰(zhàn)性。

（來源：Nikita Nangia）

這套系統(tǒng)的數(shù)據(jù)集、工具包和具體評(píng)估標(biāo)準(zhǔn)預(yù)計(jì)將于 5 月初公布。不過從最新發(fā)布的 SuperGLUE 論文中，我們可以先睹為快。

什么是 GLUE？

實(shí)現(xiàn) NLP 的方法有很多，主流的方法大多圍繞多任務(wù)學(xué)習(xí)和語言模型預(yù)訓(xùn)練展開，由此孕育出很多種不同模型，比如 BERT、MT-DNN、ALICE 和 Snorkel MeTaL 等等。在某個(gè)模型的基礎(chǔ)上，研究團(tuán)隊(duì)還可以借鑒其它模型的精華或者直接結(jié)合兩者。

為了更好地訓(xùn)練模型，同時(shí)更準(zhǔn)確地評(píng)估和分析其表現(xiàn)，紐約大學(xué)、華盛頓大學(xué)和 DeepMind 的 NLP 研究團(tuán)隊(duì)在 2018 年推出了通用語言理解評(píng)估基準(zhǔn)（GLUE），其中包含 11 項(xiàng)常見 NLP 任務(wù)，都是取自認(rèn)可度相當(dāng)高的 NLP 數(shù)據(jù)集，最大的語料庫規(guī)模超過 40 萬條，而且種類多變，涉及到自然語言推理、情感分析、閱讀理解和語義相似性等多個(gè)領(lǐng)域。

圖 | GLUE的11項(xiàng)任務(wù)

不過GLUE基準(zhǔn)才發(fā)布一年，已經(jīng)有很多 NLP 模型在特定任務(wù)中超過了人類基準(zhǔn)，尤其是在 QQP、MRPC 和 QNLI 三項(xiàng)任務(wù)中：

QQP 是“Quora 問題配對(duì)”數(shù)據(jù)集，由 40 萬對(duì) Quora 問題組成，模型需要識(shí)別兩個(gè)問題之間的含義是否相同。

MRPC 是“微軟研究釋義語料庫”，與 QQP 類似，模型需要判斷兩個(gè)形式不同的句子是否具有相似的意思（即釋義句）。

QNLI 任務(wù)基于“斯坦福問答數(shù)據(jù)集（SQuAD）”，主要考察模型的閱讀理解能力。它需要根據(jù)維基百科中的文章來回答一些問題，答案可能存在于文章中，也可能不存在。

圖 | NLP 模型在三項(xiàng)任務(wù)中普遍超過了人類基準(zhǔn)，越靠右側(cè)的模型分?jǐn)?shù)越高

目前綜合分?jǐn)?shù)最高的是微軟提交的 MT-DNN++模型，其核心是多任務(wù)深度神經(jīng)網(wǎng)絡(luò)（MT-DNN）模型，并且在文本編碼層整合了 BERT。僅次于它的是阿里巴巴達(dá)摩院 NLP 團(tuán)隊(duì)的 ALICE Large 模型和斯坦福的 Snorkel MeTaL 模型。

從上面圖中我們也能看出，得益于 BERT 和 GPT 模型的引入，模型在很多GLUE 任務(wù)的得分都已經(jīng)接近人類基準(zhǔn)，只有 2-3 個(gè)任務(wù)與人類有明顯差距。

因此，推出新的評(píng)估基準(zhǔn)勢(shì)在必行。

圖 | GLUE排行榜前五名

從 GLUE 到 SuperGLUE

新的 SuperGLUE 遵從了 GLUE 的基本原則：為通用語言理解技術(shù)的進(jìn)步提供通俗，但又具有挑戰(zhàn)性的基準(zhǔn)。

在制定這個(gè)新基準(zhǔn)時(shí)，研究人員先在 NLP 社區(qū)公開征集任務(wù)提案，獲得了大約 30 份提案，隨后按照如下標(biāo)準(zhǔn)篩選：

任務(wù)本質(zhì)：測(cè)試系統(tǒng)理解英語的能力。

任務(wù)難度：超出當(dāng)前最先進(jìn)模型的能力，但是人類可以解決。

可評(píng)估性：具備自動(dòng)評(píng)判機(jī)制，并且能夠準(zhǔn)確對(duì)應(yīng)人類的判斷或表現(xiàn)。

公開數(shù)據(jù)：擁有公開的訓(xùn)練數(shù)據(jù)。

任務(wù)格式：SuperGLUE 輸入值的復(fù)雜程度得到了提升，允許出現(xiàn)復(fù)雜句子，段落和文章等。

任務(wù)許可：所用數(shù)據(jù)必須獲得研究和重新分發(fā)的許可。

在篩選過程中，他們首先重新審核了現(xiàn)有的 GLUE 任務(wù)集，從中刪除了模型表現(xiàn)較好的 9 項(xiàng)任務(wù)，保留了 2 項(xiàng)表現(xiàn)最差的任務(wù)——Winograd 模式挑戰(zhàn)賽（WSC）和文本蘊(yùn)含識(shí)別（RTE）——它們還有很大的進(jìn)步空間。

兩項(xiàng)任務(wù)分別屬于自然語言推理和閱讀理解范疇。人類通常比較擅長(zhǎng)這樣的任務(wù)，甚至于不需要特殊訓(xùn)練就可以精通。比如看到這樣兩句話：

“這本書裝不進(jìn)書包，因?yàn)樗罅恕！?/p>

“這本書裝不進(jìn)書包，因?yàn)樗×恕！?/p>

盡管兩個(gè)句子包含兩個(gè)含義截然相反的形容詞，人類還是可以輕松理解，因?yàn)槲覀冎馈八钡闹复锊煌?。但上面那些NLP模型卻表現(xiàn)的很糟糕，平均水平不足人類的 70%。而這其實(shí)就是 WSC 任務(wù)的主要內(nèi)容。

最后，研究人員挑選（設(shè)計(jì)）了 5 項(xiàng)新任務(wù)，分別是 CB，COPA，GAP，MultiRC 和 WiC，主要測(cè)試模型回答問題，指代消解和常識(shí)推理的能力。

圖 | 新版SuperGLUE任務(wù)集，其中RTE和WSC來自于現(xiàn)有的GLUE任務(wù)

研究人員認(rèn)為，SuperGLUE 的新任務(wù)更加側(cè)重于測(cè)試模型在復(fù)雜文本下的推理能力。

比如 WiC 要求模型在兩段內(nèi)容中，區(qū)分同一個(gè)單詞的含義是否一致（聽起來簡(jiǎn)單，但對(duì)于機(jī)器來說非常困難）。CB 和 COPA 都是考察模型在給定“前提”的情況下，對(duì)“假設(shè)”或“理由”的正確性進(jìn)行判斷，只不過有的側(cè)重于分析從句，有的側(cè)重于問答模式。

GAP 則要求模型對(duì)性別做出判斷，能夠通過“姐姐”，“哥哥”和“妻子”這樣的詞匯，分辨文本中“他”和“她”的指代對(duì)象。

MultiRC 任務(wù)更加復(fù)雜，模型需要完成閱讀理解，然后回答問題。一個(gè)典型的例子是這樣的：

圖| 搜索關(guān)鍵詞“speedy recover”，幾乎一眼就能找到答案，但機(jī)器未必知道

選擇了新的任務(wù)之后，研究人員用主流 NLP 模型進(jìn)行了測(cè)試。

最流行的 BERT 模型的表現(xiàn)勉強(qiáng)可以接受，但其量化之后的綜合分?jǐn)?shù)比人類低約 16.8%，說明機(jī)器距離人類基準(zhǔn)仍有不小的差距，而且 SuperGLUE 確實(shí)比GLUE 難了不少。

圖 | 現(xiàn)有模型在SuperGLUE上的表現(xiàn)

鑒于目前 SuperGLUE 還沒有正式推出，我們還無法查看任務(wù)數(shù)據(jù)集和模型排行榜。在 5 月份推出 SuperGLUE 后，它可能還會(huì)經(jīng)歷一些微調(diào)，然后在7月份變?yōu)檎桨姹荆┭邪l(fā) NLP 模型的團(tuán)隊(duì)挑戰(zhàn)。

目前來看，SuperGLUE 和 GLUE 之間的差距是可以接受的，新任務(wù)具有一定的挑戰(zhàn)性，但并非遙不可及，足以為全球的 NLP 團(tuán)隊(duì)樹立一個(gè)新的標(biāo)桿。