微軟亞洲研究院成立20周年時表示：NLP將迎來黃金十年。

ACL2019NLP進展趨勢也主要包括：預訓練語言模型、低資源NLP任務（遷移學習/半監(jiān)督學習/多任務學習/主動學習）、模型可解釋性、更多任務&數據集。

【預訓練語言模型】已經形成了一種新的 NLP 范式：使用大規(guī)模文本語料庫進行預訓練，對特定任務的小數據集微調，降低單個 NLP 任務的難度。

預訓練模型最開始是在圖像領域提出的，獲得了良好的效果，近幾年才被廣泛應用到自然語言處理各項任務中。

預訓練模型的應用通常分為兩步：

第一步：在計算性能滿足的情況下用某個較大的數據集訓練出一個較好的模型；

第二步：根據不同的任務，改造預訓練模型，用新任務的數據集在預訓練模型上進行微調。

預訓練模型的好處是訓練代價較小，配合下游任務可以實現更快的收斂速度，并且能夠有效地提高模型性能，尤其是對一些訓練數據比較稀缺的任務。

今天，給大家推薦的這10篇學術論文，都是經典中的經典，對大家在學習預訓練模型時有很大幫助。其中有圖靈獎得主的經典之作，也有最強的特征提取器、最強的NLP模型、最全的大規(guī)模預訓練模型，還有ACL2020最佳論文。

10篇經典人工智能學術論文

這些論文是由老師盡心挑選的，非常適合對預訓練模型有所了解的同學、有一定基礎的NLP同學、對詞向量有了解的同學、合適NLP知識進階同學等。