自然語(yǔ)言處理頂會(huì)NAACL近日公布了本屆會(huì)議的最佳論文，谷歌BERT論文獲得最佳長(zhǎng)論文，可謂名至實(shí)歸。

自然語(yǔ)言處理四大頂會(huì)之一NAACL2019將于6月2日-7日在美國(guó)明尼阿波利斯市舉行。

據(jù)官方統(tǒng)計(jì)，NAACL2019共收到1955篇論文，接收論文424篇，錄取率僅為22.6%。其中長(zhǎng)論文投稿1198篇，短論文757篇。

今天，大會(huì)揭曉了本屆會(huì)議的最佳論文獎(jiǎng)項(xiàng)，包括最佳專題論文、最佳可解釋NLP論文、最佳長(zhǎng)論文、最佳短論文和最佳資源論文。

其中，谷歌BERT論文獲得最佳長(zhǎng)論文獎(jiǎng)項(xiàng)，可謂名至實(shí)歸。

最佳長(zhǎng)論文：谷歌BERT模型

最佳長(zhǎng)論文(Best Long Paper)

BERT:PretrainingofDeepBidirectionalTransformersforLanguageUnderstanding

JacobDevlin,Ming-WeiChang,KentonLeeandKristinaToutanova

https://arxiv.org/abs/1810.04805

谷歌AI團(tuán)隊(duì)在去年10月發(fā)布的BERT模型，在機(jī)器閱讀理解頂級(jí)水平測(cè)試SQuAD1.1中表現(xiàn)出驚人的成績(jī)：全部?jī)蓚€(gè)衡量指標(biāo)上全面超越人類！并且還在11種不同NLP測(cè)試中創(chuàng)出最佳成績(jī)，包括將GLUE基準(zhǔn)推至80.4％（絕對(duì)改進(jìn)7.6％），MultiNLI準(zhǔn)確度達(dá)到86.7%（絕對(duì)改進(jìn)率5.6％）等。

自BERT模型發(fā)布以來(lái)，許多基于BERT的改進(jìn)模型不斷在各種NLP任務(wù)刷新成績(jī)。毫不夸張地說，BERT模型開啟了NLP的新時(shí)代！

首先來(lái)看下谷歌AI團(tuán)隊(duì)做的這篇論文。

BERT的新語(yǔ)言表示模型，它代表Transformer的雙向編碼器表示。與最近的其他語(yǔ)言表示模型不同，BERT旨在通過聯(lián)合調(diào)節(jié)所有層中的上下文來(lái)預(yù)先訓(xùn)練深度雙向表示。因此，預(yù)訓(xùn)練的BERT表示可以通過一個(gè)額外的輸出層進(jìn)行微調(diào)，適用于廣泛任務(wù)的最先進(jìn)模型的構(gòu)建，比如問答任務(wù)和語(yǔ)言推理，無(wú)需針對(duì)具體任務(wù)做大幅架構(gòu)修改。

論文作者認(rèn)為現(xiàn)有的技術(shù)嚴(yán)重制約了預(yù)訓(xùn)練表示的能力。其主要局限在于標(biāo)準(zhǔn)語(yǔ)言模型是單向的，這使得在模型的預(yù)訓(xùn)練中可以使用的架構(gòu)類型很有限。

在論文中，作者通過提出BERT：即Transformer的雙向編碼表示來(lái)改進(jìn)基于架構(gòu)微調(diào)的方法。

BERT提出一種新的預(yù)訓(xùn)練目標(biāo)：遮蔽語(yǔ)言模型（maskedlanguagemodel，MLM），來(lái)克服上文提到的單向性局限。MLM的靈感來(lái)自Cloze任務(wù)（Taylor,1953）。MLM隨機(jī)遮蔽模型輸入中的一些token，目標(biāo)在于僅基于遮蔽詞的語(yǔ)境來(lái)預(yù)測(cè)其原始詞匯id。

與從左到右的語(yǔ)言模型預(yù)訓(xùn)練不同，MLM目標(biāo)允許表征融合左右兩側(cè)的語(yǔ)境，從而預(yù)訓(xùn)練一個(gè)深度雙向Transformer。除了遮蔽語(yǔ)言模型之外，本文作者還引入了一個(gè)“下一句預(yù)測(cè)”（nextsentenceprediction）任務(wù)，可以和MLM共同預(yù)訓(xùn)練文本對(duì)的表示。

預(yù)訓(xùn)練模型架構(gòu)的差異。BERT使用雙向Transformer。OpenAIGPT使用從左到右的Transformer。ELMo使用經(jīng)過獨(dú)立訓(xùn)練的從左到右和從右到左LSTM的串聯(lián)來(lái)生成下游任務(wù)的特征。三個(gè)模型中，只有BERT表示在所有層中共同依賴于左右上下文。

參考閱讀：

NLP歷史突破！谷歌BERT模型狂破11項(xiàng)紀(jì)錄，全面超越人類！

最佳專題論文：減輕機(jī)器學(xué)習(xí)系統(tǒng)的偏見

最佳專題論文（Best Thematic Paper）

What’sinaName?ReducingBiasinBiosWithoutAccesstoProtectedAttributes

AlexeyRomanov,MariaDeArteaga,HannaWallach,JenniferChayes,ChristianBorgs,AlexandraChouldechova,SahinGeyik,KrishnaramKenthapadi,AnnaRumshiskyandAdamKalai

https://128.84.21.199/abs/1904.05233

越來(lái)越多的研究提出了減輕機(jī)器學(xué)習(xí)系統(tǒng)偏見的方法。這些方法通常依賴于對(duì)受保護(hù)屬性(如種族、性別或年齡)的可用性。

然而，這提出了兩個(gè)重要的挑戰(zhàn)：

(1)受保護(hù)的屬性可能不可用，或者使用它們可能不合法;

(2)通常需要同時(shí)考慮多個(gè)受保護(hù)的屬性及其交集。

在減輕職業(yè)分類偏見的背景下，我們提出了一種方法，用于阻隔個(gè)人真實(shí)職業(yè)的預(yù)測(cè)概率與他們名字的單詞嵌入之間的相關(guān)性。

這種方法利用了詞嵌入中編碼的社會(huì)偏見，從而無(wú)需訪問受保護(hù)屬性。最重要的是，這種方法只要求在訓(xùn)練時(shí)訪問個(gè)人姓名，而不是在部署時(shí)。

我們使用了一個(gè)大規(guī)模的在線傳記數(shù)據(jù)集來(lái)評(píng)估我們提出的方法的兩種變體。我們發(fā)現(xiàn)，這兩種變體同時(shí)減少了種族和性別偏見，而分類器的總體真實(shí)陽(yáng)性率幾乎沒有降低。

最佳可解釋NLP論文：用量子物理的數(shù)學(xué)框架建模人類語(yǔ)言

最佳可解釋NLP論文 (Best Explainable NLP Paper)

CNM:AnInterpretableComplex-valuedNetworkforMatching

QiuchiLi,BenyouWangandMassimoMelucci

https://128.84.21.199/abs/1904.05298

本文試圖用量子物理的數(shù)學(xué)框架對(duì)人類語(yǔ)言進(jìn)行建模。

這個(gè)框架利用了量子物理中精心設(shè)計(jì)的數(shù)學(xué)公式，將不同的語(yǔ)言單元統(tǒng)一在一個(gè)復(fù)值向量空間中，例如，將單詞作為量子態(tài)的粒子，句子作為混合系統(tǒng)。我們構(gòu)建了一個(gè)復(fù)值網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)該框架的語(yǔ)義匹配。

由于具有良好約束的復(fù)值組件，網(wǎng)絡(luò)允許對(duì)顯式物理意義進(jìn)行解釋。所提出的復(fù)值匹配網(wǎng)絡(luò)(complex-valuednetworkformatching,CNM)在兩個(gè)基準(zhǔn)問題回答(QA)數(shù)據(jù)集上具有與強(qiáng)大的CNN和RNN基線相當(dāng)?shù)男阅堋?/p>

最佳短論文：視覺模態(tài)對(duì)機(jī)器翻譯的作用

最佳短論文(Best Short Paper)

Probing the Need for Visual Context in Multimodal Machine Translation

OzanCaglayan,PranavaMadhyastha,LuciaSpeciaandLo?cBarrault

https://arxiv.org/abs/1903.08678

目前關(guān)于多模態(tài)機(jī)器翻譯(MMT)的研究表明，視覺模態(tài)要么是不必要的，要么僅僅是有幫助的。

我們假設(shè)這是在任務(wù)的惟一可用數(shù)據(jù)集(Multi30K)中使用的非常簡(jiǎn)單、簡(jiǎn)短和重復(fù)的語(yǔ)句的結(jié)果，其中源文本被呈現(xiàn)為上下文。

然而，在一般情況下，我們認(rèn)為可以將視覺信息和文本信息結(jié)合起來(lái)進(jìn)行實(shí)際的翻譯。

在本文中，我們通過系統(tǒng)的分析探討了視覺模態(tài)對(duì)最先進(jìn)的MMT模型的貢獻(xiàn)。我們的結(jié)果表明，在有限的文本上下文中，模型能夠利用視覺輸入生成更好的翻譯。這與當(dāng)前的觀點(diǎn)相矛盾，即要么是因?yàn)閳D像特征的質(zhì)量，要么是因?yàn)樗鼈兗傻侥Ｐ椭械姆绞?，MMT模型忽視了視覺模態(tài)。

最佳資源論文：常識(shí)性問答的新數(shù)據(jù)集

最佳資源論文(Best Resource Paper)

CommonsenseQA:AQuestionAnsweringChallengeTargetingCommonsenseKnowledge

AlonTalmor,JonathanHerzig,NicholasLourieandJonathanBerant

https://arxiv.org/abs/1811.00937

在回答一個(gè)問題時(shí)，除了特定的上下文外，人們往往會(huì)利用他們豐富的世界知識(shí)。

最近的工作主要集中在回答一些有關(guān)文件或背景的問題，很少需要一般常識(shí)背景。

為了研究基于先驗(yàn)知識(shí)的問答任務(wù)，我們提出了CommonsenseQA：一個(gè)具有挑戰(zhàn)性的用于常識(shí)性問答的新數(shù)據(jù)集。

為了獲取超出關(guān)聯(lián)之外的常識(shí)，我們從ConceptNet(Speeretal.，2017)中提取了與單個(gè)源概念具有相同語(yǔ)義關(guān)系的多個(gè)目標(biāo)概念。參與者被要求撰寫多項(xiàng)選擇題，其中要提到源概念，并依次區(qū)分每個(gè)目標(biāo)概念。這鼓勵(lì)參與人員創(chuàng)建具有復(fù)雜語(yǔ)義的問題，這些問題通常需要先驗(yàn)知識(shí)。

我們通過這個(gè)過程創(chuàng)建了12247個(gè)問題，并用大量強(qiáng)大的基線說明了我們?nèi)蝿?wù)的難度。我們最好的基線是基于BERT-large(Devlinetal.，2018)的，獲得56%的準(zhǔn)確率，遠(yuǎn)低于人類表現(xiàn)，即89%的準(zhǔn)確度。