本文基于專家調查和學術會議討論，總結了NLP中的4個主要開放問題，分別涉及自然語言理解、數(shù)據(jù)可用性、多文檔推理以及模型評估問題。

本文作者Sebastian Ruder 是一名很活躍的自然語言處理 (NLP) 研究員。Sebastian 是 AYLIEN（愛爾蘭一家 NLP 公司）的一名研究科學家，還是都柏林大學Insight 研究中心數(shù)據(jù)分析組的博士生。

Sebastian Ruder

本文基于專家調查和Deep Learning Indaba論壇(非洲的一個最大的深度學習會議，得到DeepMind、谷歌等的贊助)上的討論，討論了NLP中的4個主要開放問題。

Sebastian Ruder向NLP專家提出了一些簡單但重要的問題。根據(jù)這些回答，我們發(fā)現(xiàn)四個最常被提及的問題：

自然語言理解

用于低資源場景的NLP

對大型或多個文檔進行推理

數(shù)據(jù)集、問題和評估

我們在小組討論中討論了這些問題。這篇文章主要是基于我們的專家的回答，以及小組成員Jade Abbott、Stephan Gouws、Omoju Miller和Bernardt Duvenhage的想法。我的目標是為那些有興趣了解更多的人提供一些關于這些論點的背景知識。

自然語言理解

我認為最大的開放性問題都與自然語言理解有關。

[…]我們應該開發(fā)能夠以人類的方式去閱讀和理解文本的系統(tǒng)，通過形成一種文本表示的世界，其中有agent、對象、設置，以及agents之間的關系、目標、欲望、信念，以及其他一切人類為了理解一段文字而創(chuàng)造的東西。在做到這一點之前，所有的進展都是在改進我們的系統(tǒng)進行模式匹配的能力

—— Kevin Gimpel

在我們的調查中，許多專家認為自然語言理解(natural language understanding, NLU)是一個核心問題，因為它是許多任務的先決條件，例如自然語言生成(NLG)。大家的共識是，我們目前的模型沒有一個顯示出對自然語言的“真正”理解。

先天的偏見vs.從頭開始學習

一個關鍵的問題是，為了更接近自然語言理解，我們應該將什么樣的偏見和結構顯式地構建到我們的模型中？在我們的調查中，許多回復提到模型應該包含常識。此外，對話系統(tǒng)(和聊天機器人)也多次被提及。

另一方面，對于強化學習，David Silver認為人們最終會希望模型自己學習所有東西，包括算法、特征和預測。許多專家持相反的觀點，他們認為你應該在模型中構建一些理解。在2018年2月Yann LeCun和Christopher Manning之間的辯論中，也探討了模型應該學習什么，以及應該將什么作為模型的固有先驗(hard-wired priors)。

程序合成(Program synthesis)

Omoju認為，只要我們不了解自然語言理解背后的機制和如何評估這些機制，就很難將理解納入其中。她認為，我們可能希望從program synthesis中獲取想法，并自動學習基于高級規(guī)范的程序。這種觀點與神經模塊網絡和神經編程解釋器(neural programmer-interpreter)有關。

她還建議，我們應該回顧80、90年代時最初開發(fā)的方法和框架，比如FrameNet，并將這些與統(tǒng)計方法結合起來。這應該有助于我們推斷出對象的常識屬性，比如推斷一輛車(car)是否屬于車輛(vehicle)，具有把手(handles)，等等。推斷出這些常識知識也是NLP領域近期的一個焦點問題。

具身學習(Embodied learning)

Stephan認為，我們應該使用可用的結構化資源和知識庫(如Wikidata)。他指出，人類通過體驗和互動，融入到環(huán)境中來學習語言。有人可能會爭辯說，存在一種單一的學習算法，只要agent嵌入在足夠豐富的環(huán)境中，并具有適當?shù)莫剟顧C制，就可以從頭開始學習NLU。然而，對這樣的環(huán)境的計算量將是巨大的。相比之下，AlphaGo需要龐大的基礎架構才能解決有明確定義的棋類游戲。創(chuàng)建一個可以持續(xù)學習的通用算法這種觀點，與過去提出的終身學習和通用問題解決器有關。

雖然許多人認為我們正朝著具身學習(embodied learning)的方向前進，但是我們不應該因此低估一個embodied agent所需的基礎架構和計算。因此，等待一個成熟的embodied agent來學習語言似乎是不明智的。但是，我們可以采取一些步驟使我們更接近這個極限，例如在模擬環(huán)境中進行基礎語言學習、結合交互或利用多模態(tài)數(shù)據(jù)。

情感

Omoju認為將與情感相關的人類因素融入到一個embodied agent中是非常困難的。然而，情感與對語言更深層次的理解是息息相關的。另一方面，我們可能不需要真正具有人類情感的agent。Stephan認為，圖靈測試被定義為模仿，雖然沒有情感，但卻能愚弄人們，讓人們認為它有情感。因此，我們應該能夠找到解決方案，不需要embodied，也不需要情感，但能了解人們的情感并幫助人們解決問題。事實上，基于傳感器的情感識別系統(tǒng)一直在改進，文本情感檢測系統(tǒng)也是。

認知和神經科學

一位聽眾問，我們在模型中利用和構建了多少神經科學和認知科學的知識。神經科學和認知科學的知識可以給你帶來很大的啟發(fā)，并成為塑造你的思維的準則。例如，有一些模型試圖模仿人類快速和慢速思考的能力[1]。正如Surya Ganguli在這篇文章中所闡述的，人工智能和神經科學在許多方面是互補的。

Omoju建議從認知科學理論中汲取靈感，比如Piaget和Vygotsky的認知發(fā)展理論。她還敦促大家開展跨學科的工作，這一觀點得到了其他專家的響應。

用于低資源場景的NLP

處理 low-data的設置(低資源語言、方言(包括社交媒體文本這種“方言”)，等等)。這不是一個完全“開放性”的問題，因為已經有很多有前途的想法；但我們仍然沒有一個通用的辦法能夠解決這個普遍問題。

– Karen Livescu

我們探討的第二個主題是在低資源場景中，超出訓練數(shù)據(jù)的限制進行泛化?？紤]到Indaba是在非洲舉行的會議，一個自然的關注點就是低資源語言。第一個問題集中在是否有必要為特定的語言開發(fā)專門的NLP工具，還是研究通用NLP就夠了。

通用語言模型

Bernardt認為，語言之間存在普遍的共性，可以被一個通用語言模型所利用。接下來的挑戰(zhàn)是獲取足夠的數(shù)據(jù)和計算力來訓練這樣的語言模型。這與最近訓練跨語言的Transformer模型和跨語言句子嵌入的工作密切相關。

跨語言表示(Cross-lingual representations)

Stephan指出，使用低資源語言的人不夠多。僅非洲就有1250-2100種語言，其中大多數(shù)語言很少受到NLP社區(qū)的關注。專用工具的問題也取決于正在處理的NLP任務。當前模型的主要問題是樣本效率?？缯Z言的詞匯嵌入非常高效，因為它們只需要單詞翻譯對，甚至只需要單語數(shù)據(jù)。它們可以很好地對齊詞嵌入空間，以完成主題分類這樣的粗粒度任務，但不支持機器翻譯這樣的細粒度任務。然而，最近的研究表明，這些嵌入為無監(jiān)督機器翻譯形成了重要的構建塊。

另一方面，用于更復雜的高級任務的模型(如問題回答)則需要數(shù)千個訓練示例來進行學習。將需要實際自然語言理解的任務從高資源語言轉移到低資源語言仍然是非常具有挑戰(zhàn)性的。隨著針對此類任務的跨語言數(shù)據(jù)集的開發(fā)，例如XNLI，為更多推理任務開發(fā)強大的跨語言模型有望變得更容易。

好處和影響

另一個問題是，鑒于資源不足的語言本身只有少量文本可用，NLP在此類環(huán)境中的好處是否也會受到限制？Stephan強烈反對這點，他提醒說，作為ML和NLP的從業(yè)者，我們通常傾向于以信息理論的方式看待問題，例如最大化數(shù)據(jù)的可能性或改進基準。退一步說，我們研究NLP問題的真正原因是為了構建能夠打破障礙的系統(tǒng)。我們希望構建一個模型，使人們能夠閱讀不是用他們的語言寫的新聞，在他們不能去看醫(yī)生的時候詢問他們的健康問題，等等。

考慮到潛在的影響，為低資源語言構建系統(tǒng)實際上是最重要的研究方向之一。雖然一種低資源語言可能沒有很多數(shù)據(jù)，但是低資源語言的數(shù)量很多；事實上，這個星球上的大多數(shù)人說的都是某種資源貧乏的語言。因此我們需要找到一種方式讓我們的ML系統(tǒng)能夠在這種設置中工作。Jade認為，具有諷刺意味的是，作為一個社區(qū)，我們一直專注于擁有大量數(shù)據(jù)的語言。我們更應該關注的是資源貧乏的語言，這些語言沒有太多數(shù)據(jù)可用。值得慶幸的是，有研究人員正在研究這種低資源語言，并取得了進展。由于缺乏數(shù)據(jù)，即使是像詞袋(bag-of-words )這樣簡單的系統(tǒng)也會對現(xiàn)實世界產生巨大的影響。

激勵和技能

另一位聽眾指出，人們被激勵去從事數(shù)據(jù)多的基準工作，如英德機器翻譯，但在低資源語言方面缺乏激勵。Stephan認為激勵以“未解決的問題”形式存在。但是，缺乏解決這些問題的技能。我們應該關注的是機器翻譯這類的技能，以幫助人們解決這些問題。不幸的是，學術進步并不一定與資源貧乏的語言有關。但是，如果跨語言基準變得更加普遍，那么這也會促使在低資源語言方面取得更多進展。

數(shù)據(jù)可用性

Jade最后指出，一個大問題是，對于資源較少的語言，例如非洲語言，沒有可用的數(shù)據(jù)集。如果我們創(chuàng)建數(shù)據(jù)集并使其易于獲得，這將激勵人們研究并降低進入這個領域的壁壘。使用多種語言提供測試數(shù)據(jù)通常就足夠了，因為這將允許我們評估跨語言模型并跟蹤進度。

對大型或多個文檔進行推理

有效地表示大規(guī)模的上下文。我們目前的模型大多基于遞歸神經網絡，不能很好地表示較長的上下文。受圖形啟發(fā)的RNN的工作具有潛在的前景，盡管目前只有有限的改進，而且還沒有被廣泛采用，因為它們遠不如普通的RNN那樣易于訓練。

——Isabelle Augenstein

另一個大的開放問題是關于大型或多個文檔的推理。最近的NarrativeQA數(shù)據(jù)集就是這種設置的基準測試的一個很好的例子。使用大規(guī)模上下文進行推理與NLU密切相關，需要大幅擴展我們當前的系統(tǒng)，直到它們能夠閱讀整本的書籍和電影腳本。這里的一個關鍵問題是：我們是需要更好的模型，還是僅僅需要更多的訓練數(shù)據(jù)？

在Dota2游戲中完勝人類職業(yè)玩家的OpenAI Five模型表明，如果增大現(xiàn)有模型的大小，讓它們處理更多的數(shù)據(jù)和更多的計算，那么它們可以做很多事情。有了足夠的數(shù)據(jù)量，我們當前的模型在更大型的上下文中也可以做得更好。問題是，擁有大量有標簽的文件數(shù)據(jù)是稀缺且昂貴的。類似于語言建模，我們可以想象一個文檔級的無監(jiān)督任務，它需要預測一本書的下一段或下一章，或者決定下一章是哪一章。然而，這個目標很可能過于低效，無法學習有用的表示。

因此，更有用的方向似乎是開發(fā)能夠更有效地表示上下文，并能夠在閱讀文檔時更好地跟蹤相關信息的方法。多文檔摘要(Multi-document summarization)和多文檔問答(multi-document question answering)方面已經有進展。同樣，我們也可以在語言模型的基礎上提高記憶能力和終身學習能力。

數(shù)據(jù)集、問題和評估

也許最大的問題是正確定義問題本身。通過正確地定義一個問題，我的意思是建立數(shù)據(jù)集和評估程序，以適當?shù)睾饬烤唧w目標的進展。如果我們能把所有事情都簡化成Kaggle風格的競賽，事情會變得更容易!

– Mikel Artetxe

囿于時間限制，我們沒有繼續(xù)討論當前的基準和評估設置的問題，但以前的調查有許多相關的回答：

https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit

最后一個問題是，非洲社會應該解決哪些最重要的NLP問題。 Jade 認為，最重要的問題是解決資源不足的問題。特別是能夠在教育中使用翻譯，使人們能夠用自己的語言獲得他們想知道的一切，這是非常重要的。