本文基于專家調(diào)查和學(xué)術(shù)會(huì)議討論，總結(jié)了NLP中的4個(gè)主要開放問題，分別涉及自然語言理解、數(shù)據(jù)可用性、多文檔推理以及模型評(píng)估問題。

本文作者Sebastian Ruder 是一名很活躍的自然語言處理 (NLP) 研究員。Sebastian 是 AYLIEN（愛爾蘭一家 NLP 公司）的一名研究科學(xué)家，還是都柏林大學(xué)Insight 研究中心數(shù)據(jù)分析組的博士生。

Sebastian Ruder

本文基于專家調(diào)查和Deep Learning Indaba論壇(非洲的一個(gè)最大的深度學(xué)習(xí)會(huì)議，得到DeepMind、谷歌等的贊助)上的討論，討論了NLP中的4個(gè)主要開放問題。

Sebastian Ruder向NLP專家提出了一些簡(jiǎn)單但重要的問題。根據(jù)這些回答，我們發(fā)現(xiàn)四個(gè)最常被提及的問題：

自然語言理解

用于低資源場(chǎng)景的NLP

對(duì)大型或多個(gè)文檔進(jìn)行推理

數(shù)據(jù)集、問題和評(píng)估

我們?cè)谛〗M討論中討論了這些問題。這篇文章主要是基于我們的專家的回答，以及小組成員Jade Abbott、Stephan Gouws、Omoju Miller和Bernardt Duvenhage的想法。我的目標(biāo)是為那些有興趣了解更多的人提供一些關(guān)于這些論點(diǎn)的背景知識(shí)。

自然語言理解

我認(rèn)為最大的開放性問題都與自然語言理解有關(guān)。

[…]我們應(yīng)該開發(fā)能夠以人類的方式去閱讀和理解文本的系統(tǒng)，通過形成一種文本表示的世界，其中有agent、對(duì)象、設(shè)置，以及agents之間的關(guān)系、目標(biāo)、欲望、信念，以及其他一切人類為了理解一段文字而創(chuàng)造的東西。在做到這一點(diǎn)之前，所有的進(jìn)展都是在改進(jìn)我們的系統(tǒng)進(jìn)行模式匹配的能力

—— Kevin Gimpel

在我們的調(diào)查中，許多專家認(rèn)為自然語言理解(natural language understanding, NLU)是一個(gè)核心問題，因?yàn)樗窃S多任務(wù)的先決條件，例如自然語言生成(NLG)。大家的共識(shí)是，我們目前的模型沒有一個(gè)顯示出對(duì)自然語言的“真正”理解。

先天的偏見vs.從頭開始學(xué)習(xí)

一個(gè)關(guān)鍵的問題是，為了更接近自然語言理解，我們應(yīng)該將什么樣的偏見和結(jié)構(gòu)顯式地構(gòu)建到我們的模型中？在我們的調(diào)查中，許多回復(fù)提到模型應(yīng)該包含常識(shí)。此外，對(duì)話系統(tǒng)(和聊天機(jī)器人)也多次被提及。

另一方面，對(duì)于強(qiáng)化學(xué)習(xí)，David Silver認(rèn)為人們最終會(huì)希望模型自己學(xué)習(xí)所有東西，包括算法、特征和預(yù)測(cè)。許多專家持相反的觀點(diǎn)，他們認(rèn)為你應(yīng)該在模型中構(gòu)建一些理解。在2018年2月Yann LeCun和Christopher Manning之間的辯論中，也探討了模型應(yīng)該學(xué)習(xí)什么，以及應(yīng)該將什么作為模型的固有先驗(yàn)(hard-wired priors)。

程序合成(Program synthesis)

Omoju認(rèn)為，只要我們不了解自然語言理解背后的機(jī)制和如何評(píng)估這些機(jī)制，就很難將理解納入其中。她認(rèn)為，我們可能希望從program synthesis中獲取想法，并自動(dòng)學(xué)習(xí)基于高級(jí)規(guī)范的程序。這種觀點(diǎn)與神經(jīng)模塊網(wǎng)絡(luò)和神經(jīng)編程解釋器(neural programmer-interpreter)有關(guān)。

她還建議，我們應(yīng)該回顧80、90年代時(shí)最初開發(fā)的方法和框架，比如FrameNet，并將這些與統(tǒng)計(jì)方法結(jié)合起來。這應(yīng)該有助于我們推斷出對(duì)象的常識(shí)屬性，比如推斷一輛車(car)是否屬于車輛(vehicle)，具有把手(handles)，等等。推斷出這些常識(shí)知識(shí)也是NLP領(lǐng)域近期的一個(gè)焦點(diǎn)問題。

具身學(xué)習(xí)(Embodied learning)

Stephan認(rèn)為，我們應(yīng)該使用可用的結(jié)構(gòu)化資源和知識(shí)庫(kù)(如Wikidata)。他指出，人類通過體驗(yàn)和互動(dòng)，融入到環(huán)境中來學(xué)習(xí)語言。有人可能會(huì)爭(zhēng)辯說，存在一種單一的學(xué)習(xí)算法，只要agent嵌入在足夠豐富的環(huán)境中，并具有適當(dāng)?shù)莫?jiǎng)勵(lì)機(jī)制，就可以從頭開始學(xué)習(xí)NLU。然而，對(duì)這樣的環(huán)境的計(jì)算量將是巨大的。相比之下，AlphaGo需要龐大的基礎(chǔ)架構(gòu)才能解決有明確定義的棋類游戲。創(chuàng)建一個(gè)可以持續(xù)學(xué)習(xí)的通用算法這種觀點(diǎn)，與過去提出的終身學(xué)習(xí)和通用問題解決器有關(guān)。

雖然許多人認(rèn)為我們正朝著具身學(xué)習(xí)(embodied learning)的方向前進(jìn)，但是我們不應(yīng)該因此低估一個(gè)embodied agent所需的基礎(chǔ)架構(gòu)和計(jì)算。因此，等待一個(gè)成熟的embodied agent來學(xué)習(xí)語言似乎是不明智的。但是，我們可以采取一些步驟使我們更接近這個(gè)極限，例如在模擬環(huán)境中進(jìn)行基礎(chǔ)語言學(xué)習(xí)、結(jié)合交互或利用多模態(tài)數(shù)據(jù)。

情感

Omoju認(rèn)為將與情感相關(guān)的人類因素融入到一個(gè)embodied agent中是非常困難的。然而，情感與對(duì)語言更深層次的理解是息息相關(guān)的。另一方面，我們可能不需要真正具有人類情感的agent。Stephan認(rèn)為，圖靈測(cè)試被定義為模仿，雖然沒有情感，但卻能愚弄人們，讓人們認(rèn)為它有情感。因此，我們應(yīng)該能夠找到解決方案，不需要embodied，也不需要情感，但能了解人們的情感并幫助人們解決問題。事實(shí)上，基于傳感器的情感識(shí)別系統(tǒng)一直在改進(jìn)，文本情感檢測(cè)系統(tǒng)也是。

認(rèn)知和神經(jīng)科學(xué)

一位聽眾問，我們?cè)谀Ｐ椭欣煤蜆?gòu)建了多少神經(jīng)科學(xué)和認(rèn)知科學(xué)的知識(shí)。神經(jīng)科學(xué)和認(rèn)知科學(xué)的知識(shí)可以給你帶來很大的啟發(fā)，并成為塑造你的思維的準(zhǔn)則。例如，有一些模型試圖模仿人類快速和慢速思考的能力[1]。正如Surya Ganguli在這篇文章中所闡述的，人工智能和神經(jīng)科學(xué)在許多方面是互補(bǔ)的。

Omoju建議從認(rèn)知科學(xué)理論中汲取靈感，比如Piaget和Vygotsky的認(rèn)知發(fā)展理論。她還敦促大家開展跨學(xué)科的工作，這一觀點(diǎn)得到了其他專家的響應(yīng)。

用于低資源場(chǎng)景的NLP

處理 low-data的設(shè)置(低資源語言、方言(包括社交媒體文本這種“方言”)，等等)。這不是一個(gè)完全“開放性”的問題，因?yàn)橐呀?jīng)有很多有前途的想法；但我們?nèi)匀粵]有一個(gè)通用的辦法能夠解決這個(gè)普遍問題。

– Karen Livescu

我們探討的第二個(gè)主題是在低資源場(chǎng)景中，超出訓(xùn)練數(shù)據(jù)的限制進(jìn)行泛化?？紤]到Indaba是在非洲舉行的會(huì)議，一個(gè)自然的關(guān)注點(diǎn)就是低資源語言。第一個(gè)問題集中在是否有必要為特定的語言開發(fā)專門的NLP工具，還是研究通用NLP就夠了。

通用語言模型

Bernardt認(rèn)為，語言之間存在普遍的共性，可以被一個(gè)通用語言模型所利用。接下來的挑戰(zhàn)是獲取足夠的數(shù)據(jù)和計(jì)算力來訓(xùn)練這樣的語言模型。這與最近訓(xùn)練跨語言的Transformer模型和跨語言句子嵌入的工作密切相關(guān)。

跨語言表示(Cross-lingual representations)

Stephan指出，使用低資源語言的人不夠多。僅非洲就有1250-2100種語言，其中大多數(shù)語言很少受到NLP社區(qū)的關(guān)注。專用工具的問題也取決于正在處理的NLP任務(wù)。當(dāng)前模型的主要問題是樣本效率。跨語言的詞匯嵌入非常高效，因?yàn)樗鼈冎恍枰獑卧~翻譯對(duì)，甚至只需要單語數(shù)據(jù)。它們可以很好地對(duì)齊詞嵌入空間，以完成主題分類這樣的粗粒度任務(wù)，但不支持機(jī)器翻譯這樣的細(xì)粒度任務(wù)。然而，最近的研究表明，這些嵌入為無監(jiān)督機(jī)器翻譯形成了重要的構(gòu)建塊。

另一方面，用于更復(fù)雜的高級(jí)任務(wù)的模型(如問題回答)則需要數(shù)千個(gè)訓(xùn)練示例來進(jìn)行學(xué)習(xí)。將需要實(shí)際自然語言理解的任務(wù)從高資源語言轉(zhuǎn)移到低資源語言仍然是非常具有挑戰(zhàn)性的。隨著針對(duì)此類任務(wù)的跨語言數(shù)據(jù)集的開發(fā)，例如XNLI，為更多推理任務(wù)開發(fā)強(qiáng)大的跨語言模型有望變得更容易。

好處和影響

另一個(gè)問題是，鑒于資源不足的語言本身只有少量文本可用，NLP在此類環(huán)境中的好處是否也會(huì)受到限制？Stephan強(qiáng)烈反對(duì)這點(diǎn)，他提醒說，作為ML和NLP的從業(yè)者，我們通常傾向于以信息理論的方式看待問題，例如最大化數(shù)據(jù)的可能性或改進(jìn)基準(zhǔn)。退一步說，我們研究NLP問題的真正原因是為了構(gòu)建能夠打破障礙的系統(tǒng)。我們希望構(gòu)建一個(gè)模型，使人們能夠閱讀不是用他們的語言寫的新聞，在他們不能去看醫(yī)生的時(shí)候詢問他們的健康問題，等等。

考慮到潛在的影響，為低資源語言構(gòu)建系統(tǒng)實(shí)際上是最重要的研究方向之一。雖然一種低資源語言可能沒有很多數(shù)據(jù)，但是低資源語言的數(shù)量很多；事實(shí)上，這個(gè)星球上的大多數(shù)人說的都是某種資源貧乏的語言。因此我們需要找到一種方式讓我們的ML系統(tǒng)能夠在這種設(shè)置中工作。Jade認(rèn)為，具有諷刺意味的是，作為一個(gè)社區(qū)，我們一直專注于擁有大量數(shù)據(jù)的語言。我們更應(yīng)該關(guān)注的是資源貧乏的語言，這些語言沒有太多數(shù)據(jù)可用。值得慶幸的是，有研究人員正在研究這種低資源語言，并取得了進(jìn)展。由于缺乏數(shù)據(jù)，即使是像詞袋(bag-of-words )這樣簡(jiǎn)單的系統(tǒng)也會(huì)對(duì)現(xiàn)實(shí)世界產(chǎn)生巨大的影響。

激勵(lì)和技能

另一位聽眾指出，人們被激勵(lì)去從事數(shù)據(jù)多的基準(zhǔn)工作，如英德機(jī)器翻譯，但在低資源語言方面缺乏激勵(lì)。Stephan認(rèn)為激勵(lì)以“未解決的問題”形式存在。但是，缺乏解決這些問題的技能。我們應(yīng)該關(guān)注的是機(jī)器翻譯這類的技能，以幫助人們解決這些問題。不幸的是，學(xué)術(shù)進(jìn)步并不一定與資源貧乏的語言有關(guān)。但是，如果跨語言基準(zhǔn)變得更加普遍，那么這也會(huì)促使在低資源語言方面取得更多進(jìn)展。

數(shù)據(jù)可用性

Jade最后指出，一個(gè)大問題是，對(duì)于資源較少的語言，例如非洲語言，沒有可用的數(shù)據(jù)集。如果我們創(chuàng)建數(shù)據(jù)集并使其易于獲得，這將激勵(lì)人們研究并降低進(jìn)入這個(gè)領(lǐng)域的壁壘。使用多種語言提供測(cè)試數(shù)據(jù)通常就足夠了，因?yàn)檫@將允許我們?cè)u(píng)估跨語言模型并跟蹤進(jìn)度。

對(duì)大型或多個(gè)文檔進(jìn)行推理

有效地表示大規(guī)模的上下文。我們目前的模型大多基于遞歸神經(jīng)網(wǎng)絡(luò)，不能很好地表示較長(zhǎng)的上下文。受圖形啟發(fā)的RNN的工作具有潛在的前景，盡管目前只有有限的改進(jìn)，而且還沒有被廣泛采用，因?yàn)樗鼈冞h(yuǎn)不如普通的RNN那樣易于訓(xùn)練。

——Isabelle Augenstein

另一個(gè)大的開放問題是關(guān)于大型或多個(gè)文檔的推理。最近的NarrativeQA數(shù)據(jù)集就是這種設(shè)置的基準(zhǔn)測(cè)試的一個(gè)很好的例子。使用大規(guī)模上下文進(jìn)行推理與NLU密切相關(guān)，需要大幅擴(kuò)展我們當(dāng)前的系統(tǒng)，直到它們能夠閱讀整本的書籍和電影腳本。這里的一個(gè)關(guān)鍵問題是：我們是需要更好的模型，還是僅僅需要更多的訓(xùn)練數(shù)據(jù)？

在Dota2游戲中完勝人類職業(yè)玩家的OpenAI Five模型表明，如果增大現(xiàn)有模型的大小，讓它們處理更多的數(shù)據(jù)和更多的計(jì)算，那么它們可以做很多事情。有了足夠的數(shù)據(jù)量，我們當(dāng)前的模型在更大型的上下文中也可以做得更好。問題是，擁有大量有標(biāo)簽的文件數(shù)據(jù)是稀缺且昂貴的。類似于語言建模，我們可以想象一個(gè)文檔級(jí)的無監(jiān)督任務(wù)，它需要預(yù)測(cè)一本書的下一段或下一章，或者決定下一章是哪一章。然而，這個(gè)目標(biāo)很可能過于低效，無法學(xué)習(xí)有用的表示。

因此，更有用的方向似乎是開發(fā)能夠更有效地表示上下文，并能夠在閱讀文檔時(shí)更好地跟蹤相關(guān)信息的方法。多文檔摘要(Multi-document summarization)和多文檔問答(multi-document question answering)方面已經(jīng)有進(jìn)展。同樣，我們也可以在語言模型的基礎(chǔ)上提高記憶能力和終身學(xué)習(xí)能力。

數(shù)據(jù)集、問題和評(píng)估

也許最大的問題是正確定義問題本身。通過正確地定義一個(gè)問題，我的意思是建立數(shù)據(jù)集和評(píng)估程序，以適當(dāng)?shù)睾饬烤唧w目標(biāo)的進(jìn)展。如果我們能把所有事情都簡(jiǎn)化成Kaggle風(fēng)格的競(jìng)賽，事情會(huì)變得更容易!

– Mikel Artetxe

囿于時(shí)間限制，我們沒有繼續(xù)討論當(dāng)前的基準(zhǔn)和評(píng)估設(shè)置的問題，但以前的調(diào)查有許多相關(guān)的回答：

https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit

最后一個(gè)問題是，非洲社會(huì)應(yīng)該解決哪些最重要的NLP問題。 Jade 認(rèn)為，最重要的問題是解決資源不足的問題。特別是能夠在教育中使用翻譯，使人們能夠用自己的語言獲得他們想知道的一切，這是非常重要的。