在很多人眼里，Salesforce也許是個(gè)陌生的名字，但它實(shí)際上是可以比肩微軟和甲骨文的科技巨頭。和眾多專注個(gè)體消費(fèi)者服務(wù)的公司不同，Salesforce的主營業(yè)務(wù)是CRM系統(tǒng)，這也是它當(dāng)年迫于股東壓力放棄收購Twitter的一大因素。近年來，眼看競爭對手依靠AI技術(shù)取得巨大成功，坐擁大量優(yōu)質(zhì)數(shù)據(jù)、成立了人工智能平臺(tái)Einstein的Salesforce自然也不甘落后。今天，論智帶來的是Einstein研究所的新成果：一個(gè)十項(xiàng)全能的NLP深度學(xué)習(xí)模型。

對于機(jī)器翻譯、文本摘要、Q&A、文本分類等自然語言處理任務(wù)來說，深度學(xué)習(xí)的出現(xiàn)一遍遍刷新了state-of-the-art的模型性能記錄，給研究帶來諸多驚喜。但這些任務(wù)一般都有各自的度量基準(zhǔn)，性能也只在一組標(biāo)準(zhǔn)數(shù)據(jù)集上測試，這就導(dǎo)致一個(gè)問題：即便這些模型在單個(gè)NLP任務(wù)中表現(xiàn)良好，但它們的基準(zhǔn)設(shè)計(jì)和架構(gòu)發(fā)展并不一定會(huì)對NLP全能模型的發(fā)展帶去積極影響。

為了探索這些模型的更多可能性，以及優(yōu)化它們的權(quán)重，我們引入decaNLP：自然語言十項(xiàng)全能多任務(wù)挑戰(zhàn)（同樣是個(gè)大型數(shù)據(jù)集）。這個(gè)挑戰(zhàn)包含十項(xiàng)任務(wù)：Q&A、機(jī)器翻譯、摘要、自然語言推斷、情感分析、語義角色標(biāo)注、關(guān)系抽取、任務(wù)驅(qū)動(dòng)多輪對話、數(shù)據(jù)庫查詢生成器和代詞消解。它的目標(biāo)是找到可以高質(zhì)量完成以上10種任務(wù)的模型，并探究這些模型與針對特定任務(wù)單獨(dú)訓(xùn)練的模型之間的不同。

為了方便比較，decaNLP使用了一個(gè)名為decaScore的基準(zhǔn)。

通過把這十項(xiàng)任務(wù)統(tǒng)一轉(zhuǎn)化成問答模式，這就成了一個(gè)大型Q&A模型

針對這項(xiàng)挑戰(zhàn)，我們的具體做法是把這十項(xiàng)任務(wù)都轉(zhuǎn)換為問題和答案，并提出一個(gè)新的多任務(wù)問答網(wǎng)絡(luò)（MQAN），它可以在無需任何特定任務(wù)模塊、參數(shù)的情況下同時(shí)學(xué)習(xí)這十項(xiàng)任務(wù)。經(jīng)過實(shí)驗(yàn)，MQAN得到了一些有趣發(fā)現(xiàn)：機(jī)器翻譯和命名實(shí)體識(shí)別模型間可以進(jìn)行遷移學(xué)習(xí)、情感分析和自然語言推斷有相似的域……

通過比較基準(zhǔn)，我們發(fā)現(xiàn)MQAN的多指針編碼器-解碼器結(jié)構(gòu)是它成功的一大關(guān)鍵，而且相反的訓(xùn)練策略可以進(jìn)一步提高網(wǎng)絡(luò)性能。盡管MQAN的定位是NLP全能模型，但它在單一任務(wù)中的表現(xiàn)也可圈可點(diǎn)?？偠灾?，它在WikiSQL語義解析任務(wù)中取得了state-of-the-art的成果，在SQuAD上得分最高，在其他任務(wù)中也表現(xiàn)出眾。

任務(wù)及數(shù)據(jù)集

問題、文本、答案：十項(xiàng)NLP任務(wù)

首先我們來看看任務(wù)和相關(guān)數(shù)據(jù)集，這塊內(nèi)容在論文中有更詳細(xì)的介紹，包括每個(gè)任務(wù)的歷史背景和近期進(jìn)展情況，這里我們不再贅述。上圖是每個(gè)任務(wù)輸入輸出對的一些樣本。

Q&A

問答模型的輸入由問題和上下文兩部分組成，其中包含輸出答案所需的信息。對于這個(gè)任務(wù)，我們使用的是斯坦福問答數(shù)據(jù)集（SQUAD），上下文截取自英語維基百科的段落，而答案則是從上下文中復(fù)制的單詞序列。

機(jī)器翻譯

機(jī)器翻譯的輸入是源語言文本，輸出是翻譯好的目標(biāo)語言。我們在這里把2016年國際口語機(jī)器翻譯評(píng)測比賽（IWSLT）中的英譯德數(shù)據(jù)作為訓(xùn)練集，并把2013年、2014年比賽的數(shù)據(jù)作為驗(yàn)證集和測試集。輸入樣本來自轉(zhuǎn)錄的TED演講，因?yàn)樗w了大多數(shù)自然語言會(huì)話主題。雖然對機(jī)器學(xué)習(xí)來說這個(gè)數(shù)據(jù)集有點(diǎn)小，但它的大小上和其他任務(wù)的數(shù)據(jù)集基本一致。

decaNLP沒有對額外數(shù)據(jù)的限制，所以如果你愿意，你還可以引入更多數(shù)據(jù)，比如WMT的會(huì)議翻譯數(shù)據(jù)。

摘要

這類任務(wù)要求輸入文本后，模型能輸出該文本的摘要。近幾年來不少研究人員把CNN（美國有線電視新聞網(wǎng)）和《每日郵報(bào)》語料庫匯總成數(shù)據(jù)集，并在這個(gè)基礎(chǔ)上取得了不少重大進(jìn)展。我們也為decaNLP挑戰(zhàn)引入了這個(gè)數(shù)據(jù)集的非匿名版本。

自然語言推斷

自然語言推斷（NLI）模型接收兩個(gè)輸入句子：一個(gè)前提和一個(gè)假設(shè)。模型需要推斷前提和假設(shè)之間的關(guān)系，并把它歸類為矛盾、中性、支持三者之一。我們用的是斯坦福大學(xué)的Multi-Genre NLI Corpus（MNLI）數(shù)據(jù)集，它是SNLI的升級(jí)版，提供多領(lǐng)域（語音轉(zhuǎn)錄、流行小說、政府報(bào)告）訓(xùn)練樣本。

情感分析

情感分析的任務(wù)是輸入文本后，輸出文本所表達(dá)的情緒。斯坦福大學(xué)的情緒樹庫（SST）是一個(gè)包含電影評(píng)論及其相應(yīng)情緒（正面、中性、負(fù)面）的數(shù)據(jù)集，非常適合這類任務(wù)。我們使用的是它的二進(jìn)制版本，以便decaNLP模型可以解析其中的依賴關(guān)系。

語義角色標(biāo)注

語義角色標(biāo)注（SRL），即輸入句子和謂語（通常是動(dòng)詞），輸出語義角色間的關(guān)系：何時(shí)何地，“誰”對“誰”做了什么。我們把一個(gè)SRL數(shù)據(jù)集處理成問答形式，制作了一個(gè)新數(shù)據(jù)集：QA-SRL，它的內(nèi)容涵蓋新聞和維基百科。

關(guān)系抽取

關(guān)系抽取的目的是從輸入文本中提取屬于目標(biāo)種類的實(shí)體關(guān)系。在這種情況下，模型需要先識(shí)別實(shí)體間的語義關(guān)系，再判斷是不是屬于目標(biāo)種類。和SRL一樣，我們也為這項(xiàng)任務(wù)制作了一個(gè)新數(shù)據(jù)集：QA-ZRE。它把實(shí)體關(guān)系映射到一系列問題，所以抽取過程就也成了問答形式。

任務(wù)驅(qū)動(dòng)多輪對話

在人機(jī)對話系統(tǒng)中，任務(wù)驅(qū)動(dòng)多輪對話的一個(gè)關(guān)鍵是對話狀態(tài)跟蹤，也就是根據(jù)用戶發(fā)言和機(jī)器人的反應(yīng)確定用戶的明確目的，比如訂餐、訂票、購買商品等，它也可以追蹤交流過程中用戶提出的請求類型。對于這項(xiàng)任務(wù)，我們用的是英文版的WoZ訂餐任務(wù)，它包含訂餐食物實(shí)體、日期、時(shí)間、地址以及其他信息。

語義分析

從本質(zhì)上說，把自然語言翻譯成SQL再到數(shù)據(jù)庫查詢語句這個(gè)過程和語義分析密切相關(guān)。去年，我們曾在論文Seq2SQL中介紹過一種可以跳過SQL的方法，允許自然語言與數(shù)據(jù)庫直接進(jìn)行交互。所以這里用的還是當(dāng)時(shí)的數(shù)據(jù)集WikiSQL。

代詞消解

這個(gè)任務(wù)面向的是不圖靈測試，而是威諾格拉德模式挑戰(zhàn)，其中最典型的一個(gè)例題是：市議會(huì)拒絕給示威者頒發(fā)許可，因?yàn)樗麄僛擔(dān)心/宣揚(yáng)]暴力。這里“擔(dān)心”的主語是“市議會(huì)”，那么“宣揚(yáng)”的主語是誰？我們從這個(gè)例子開始訓(xùn)練，確保最終答案來自上下文，但它的得分又不會(huì)被上下文的措辭所影響。

模型得分：decaScore

多任務(wù)問答網(wǎng)絡(luò)（MQAN）

MQAN是一個(gè)多任務(wù)問答模型，只用一個(gè)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)就能解決decaNLP挑戰(zhàn)的十項(xiàng)任務(wù)。它沒有任何針對特定任務(wù)的參數(shù)和模塊，如上圖所示，輸入問題和上下文文本后，模型用BiLSTM對輸入進(jìn)行編碼，又用dual coattention分別調(diào)整兩個(gè)序列的表征，之后用另外兩個(gè)BiLSTM壓縮所有信息，以便它們能被用于高層計(jì)算。后面添加的自我注意力模塊能有效收集長期記憶，這些信息再被饋送進(jìn)最后兩個(gè)BiLSTM，得到問題和上下文的最終表征。

因?yàn)閐ecaNLP是一個(gè)十項(xiàng)全能挑戰(zhàn)，所以如果每項(xiàng)任務(wù)的評(píng)分基準(zhǔn)是百分制，那它就應(yīng)該是千分制——加法可以有效避免對不同任務(wù)的評(píng)分偏見。對于Q&A、自然語言推斷、情感分析和語義角色標(biāo)注，它們的評(píng)分基準(zhǔn)是歸一化的F1(nF1)；摘要任務(wù)計(jì)算的是ROUGE-1、ROUGE-2和ROUGE-L得分的平均值；機(jī)器翻譯用的是BLEU評(píng)分；任務(wù)驅(qū)動(dòng)多輪對話用的是任務(wù)跟蹤得分和請求跟蹤得分的平均值……

除了MQAN，我們還嘗試了其他結(jié)構(gòu)的模型并計(jì)算了它們的decaScores，下面是具體評(píng)分情況：

各模型評(píng)分結(jié)果

第一個(gè)S2S是一個(gè)包含注意力機(jī)制和指針生成器的序列到序列網(wǎng)絡(luò)；第二個(gè)w/SAtt是S2S的衍生，它在編碼器的BiLSTM和解碼器的LSTM層之間加入了一層自我注意力模塊（Transformer）；+CAtt把上下文和問題分解成兩個(gè)序列，并在編碼器上添加了額外的層；MQAN事實(shí)上就是帶額外問題指針的+CAtt，它在表格中被表示為+QPtr。

上表數(shù)據(jù)顯示了模型在多任務(wù)和單任務(wù)之間的權(quán)衡：通過在S2S中加入額外的注意力模塊，模型能更有效地從問題+上下文的單一序列中提取有效信息，從而極大地提高了它在SQUAD和WikiSQL上的性能；通過在前者基礎(chǔ)上把上下文和問題作為單獨(dú)的輸入序列，模型在大多數(shù)任務(wù)上的表現(xiàn)更好了，但它在MNLI和MWSC兩個(gè)數(shù)據(jù)集上卻性能暴跌，這不難理解，自然語言推斷和代詞消解需要結(jié)合上下文和問題，它們一旦分離，模型就失效了；針對這個(gè)問題，+QPtr引入了一個(gè)額外指針，可以發(fā)現(xiàn)，這時(shí)模型在MNLI和MWSC上的性能比S2S更優(yōu)。

學(xué)習(xí)新任務(wù)時(shí)，MQAN預(yù)訓(xùn)練/直接訓(xùn)練的差距