從語言模型角度看，ChatGPT 的天花板非常低，但在觸及天花板之前，還有很多紅利。

ChatGPT在產業(yè)界掀起商業(yè)化與資本狂潮的同時，也給自然語言處理（NLP）研究界拋出了許多問題，NLP正在重新成為最熱的研究領域之一，但也在面臨以ChatGPT為代表的大規(guī)模預訓練語言模型帶來的沖擊，ChatGPT將如何重塑NLP技術？NLP的下一步要如何走？

在2月24日深圳人才研修院由鵬城實驗室主辦的第四屆OpenI/O啟智開發(fā)者大會上，張民教授做了題為《語言智能與機器翻譯》的主題演講，對這一問題展開了深刻的思考。

張民教授在1991年至1997年于哈爾濱工業(yè)大學先后獲學士、碩士和博士學位，長期從事自然語言處理、機器翻譯和人工智能研究。在這次演講中他談到ChatGPT背后的NLP技術，他認為ChatGPT是一個技術、數據、算力和工程架構相結合的復雜系統(tǒng)，它的能力來自于基礎模型、指令學習和強化學習。NLP人要有復雜系統(tǒng)的觀念。

在他看來，ChatGPT給NLP研究者帶來的不是威脅，而是為NLP提供了新機會、新研究范式，可更好地解決NLP問題，同時擴大了NLP研究領域，為NLP領域提出了更多待解決的命題，如研究新一代語言大模型、保證模型的可信與安全、提高模型的復雜推理能力和可解釋性、增強模型對人類意志的學習、發(fā)展多模態(tài)大模型等等。

以下是張民教授本次主題演講的原文，AI科技評論做了不改變原意的編輯：

1

ChatGPT：NLP 技術的一大步

打開了通用AI的大門

在講這次報告的內容之前，我先就ChatGPT談幾個觀點。

第一，要高度認可、擁抱、跟蹤而不是跟風跨時代的以ChatGPT為代表的新一代NLP/AI技術。

第二，跟蹤之后，要在OpenAI的這個大模型基礎上做創(chuàng)新性研究。很多人擔心，在大模型的時代，NLP是不是不需要再做了，其實完全不是，我們要做的事情更多，而且極多。

大家想一下我們的人腦是怎么學習語言的，3歲小孩的語言能力已經很強了，但人腦只有5%的神經元被激活進行語言相關的活動，小孩是怎么做到舉一反三的？我們人類學語言是真正去理解，自頂向下和自底向上相結合的學習方式，具有演繹、歸納、推理、聯想、舉一反三的能力。而ChatGPT是自底向上學習。所以未來的語言模型一定不是ChatGPT這個樣子。

本次報告要講的，是我覺得未來5至10年甚至20年以ChatGPT為代表的NLP要解決的問題。先講什么是ChatGPT，再講什么是語言模型、ChatGPT能給NLP什么啟發(fā)。

首先來講什么是ChatGPT。第一點，ChatGPT做的事就是使機器像人一樣與人對話、交流。自然語言是人類交流最方便、最重要的媒介，語言是用來描述知識和傳承文化的工具。因此，ChatGPT很快就被大眾迅速接受，所以說ChatGPT是人投票投出來的，這也是ChatGPT能如此之火的一個很重要的原因。

ChatGPT的本質是大規(guī)模預訓練語言模型，是一個統(tǒng)一的、極簡的大模型，這是第二點。

第三個關鍵點，就是ChatGPT做的是一個NLP問題，但是大家一定要意識到它是一個技術+數據+算力+工程結構的復雜系統(tǒng)。

經常有人問我，ChatGPT帶給我們的經驗是什么？我通俗地講，自然語言處理干三件事：讓機器聽懂人話（理解）、講人話（生成）、干人事（應用）。相應地，ChatGPT的驚艷之處是什么？第一，非常強的語言理解能力和生成能力，理解人類的意圖，然后侃侃而談，娓娓道來；第二，它能把倫理、道德等方面的不當內容去掉，并可拒絕回答；第三，它使用了三項技術，包括表示學習、注意力機制和學習人類意志，沒有這些技術就沒有大模型，更沒有ChatGPT。

非嚴格講，“學習人類意志”是ChatGPT這類模型所獨有的，這個說法聽起來很高大上，其實就是通過算法調整模型參數，進而讓機器知道人到底想要機器做什么、怎么能干好。

ChatGPT的理論基礎是什么？就是從語料當中學東西。語料數據里面能蘊涵多少知識，ChatGPT最多就能擁有多少知識。從這個角度看，ChatGPT因此也是一個知識工程。所以語料庫語言學、認知語言學和計算語言學是ChatGPT的語言學理論基礎。如果你相信語言能夠表達知識，那么ChatGPT就能學會其中的知識。

所以我們對ChatGPT的一個評價是：NLP技術的一大步，開啟了AGI（通用人工智能）的一扇門。

2ChatGPT 背后的語言模型

只要上過中學、學過中文或英文，大家就都知道，語言模型包括詞、短語、句法結構、語義和篇章等不同層面。從另外一個角度講，語言模型涵蓋很多種表示方法，比如產生式、邏輯、謂詞、框架等等。從知識表述的角度看，語言模型則包括規(guī)則、統(tǒng)計和神經網絡的方法。

抽象講，語言模型是計算機表示和處理自然語言的數學模型。語言模型是一個單純的、統(tǒng)一的、抽象的形式化系統(tǒng)，自然語言經過語言模型的描述，就能被計算機處理了，因此語言模型對于自然語言處理極其重要。

那么ChatGPT所用的語言模型是什么？它的語言模型其實早在上世紀七八十年代就有了，即當時語音識別領域最常用的N-gram語言模型。ChatGPT是一種基于N-gram的生成式語言模型。比如，在一個句子中，第二個詞的概率以第一個詞為基礎，第三個詞的概率以前兩個詞為基礎，如此類推。公式極其簡單，ChatGPT所干的唯一一件事，就是學一堆神經網絡參數，給定前N個詞，預測下一個詞是什么。比如“Where are we （going）”這個句子，ChatGPT會對所有可能的詞的概率進行從低到高的排序，根據它的模型預測出第四個詞是going的概率最大。

大家想一想，為什么只做這一件事就能夠實現復雜對話？只是如此簡單地預測下一個詞，為何它就能這么驚艷，能夠寫文章、對話、編程序、制表等等？有一個經典的“猴子打字機悖論”，如果你給一個猴子無限長的時間，讓它在鍵盤上敲打，它就能在某個時間點寫出一部莎士比亞全集。這是沒錯的，從數學的角度講一定能實現。

ChatGPT就相當于一只猴子，把詞隨意地組合起來，但ChatGPT的好處是什么？猴子需要無限長的時間，它也并不知道打出哪個字最好，而ChatGPT有非常強的預測下一個詞的能力，只要給它上文，它就能對下一個詞進行精準預測。ChatGPT寫一篇論文的時候，給人感覺是一氣呵成，實際上這時候它絕對不是簡單地給定前一個N個詞預測下一個詞，而是已經隱含在語言模型中地編碼了這篇文章的結構。寫一篇學術論文一定要布局好結構，ChatGPT就是根據這個布局來工作的。ChatGPT最擅長的就是寫作，侃侃而談，“編故事”。

那么ChatGPT的原理到底是什么？有三個方面：基礎模型，指令學習，強化學習。

基礎模型使ChatGPT具備強大的能力。有了能力就是有了力氣，但有了力氣還不知道到底能干什么，指令學習就是讓模型知道干什么，強化學習則是讓模型干得更好。還有一個人類反饋，即獎勵模型，是為了強化學習用的，用獎勵模型去做強化學習，希望ChatGPT做到跟人類一樣、符合人類的意志。就像高文老師講的，ChatGPT太討好人類，表面上看是這樣，但其實我覺得問題在于訓練數據、獎勵模型和強化學習的導向以及倫理道德的因素，導致它太像人類。

ChatGPT的核心技術有兩點，一個是基礎模型，一個是對基礎模型的人類意志對齊微調。至少從交互的角度看，微調是非常有效的。微調能做到什么效果？從交互的角度講，它能使原本13B的模型性能達到175B模型的水平，提高10倍。而從知識的角度講，13B的模型知識貧瘠，講得再花言巧語也沒有用。

3大模型時代，NLP 怎么做？

目前來看，ChatGPT不能干的、干錯的，比它能干的要多得多。但是大家要堅信一點，ChatGPT技術剛剛出現，那些不能干的很多問題可以很快解決。

同時，我們也應該看到ChatGPT有它的天花板，它確實是有很多問題，說一千道一萬，ChatGPT本身模型能力有限，比如會出現張冠李戴的問題。像對于“1+1=2”，ChatGPT不是用計算器去算的，而是利用模型去預測1+1等于幾，2出現的概率大，所以它認為是2。如果你賦予ChatGPT計算能力，那么所有數字四則運算問題它都會。

我們應該看到，ChatGPT的天花板非常低，但是在到達天花板之前，我們有很多紅利?？茖W的進步畢竟是波浪式的。

再來談一談ChatGPT與語言智能和機器翻譯。這個方向我已經做了幾十年了，但是我覺得機器翻譯是最容易被ChatGPT顛覆的，一定是。人類做翻譯的時候經過語言理解和生成的過程，ChatGPT恰恰具有很強的語言理解和生成能力。目前機器翻譯模型嚴格依賴雙語數據，把機器翻譯看做是一個映射過程，而不是理解和生成過程。目前機器翻譯模型面臨很多難以解決的問題，首先是雙語數據少，還有準確性、篇章、指代、低資源領域和語種、噪聲等等問題。這些問題理論和技術上都可以被大模型很好解決。

再回答一下學術界普遍關心的問題，在大模型的時代怎么去做NLP？我總結了12個問題，任何一個問題解決了我認為都具有跨時代的意義。

一、新一代語言模型。Masked LM and GLM建模能力強，但模型的描述能力非常有限，理論上幾乎是所有LM中描述能力最弱的模型（除了BOW模型）。下一代可計算性更強、描述能力更強的語言模型是什么？至少不僅僅具有強大生成能力。

二、大模型時代的自然語言的深度理解（NLU）。至少從現在開始，所有的自然語言處理任務都很難繞開大模型?；谶B接主義的符號主義方法應該是一個趨勢。

三、可信NLP。模型輸出結果可信、可驗真。

四、安全可靠NLP。價值觀、道德、政治、隱私、倫理等。

五、具有復雜推理能力和可解釋NLP。連接主義和符號主義相結合的方法。

六、知識建模、獲取和使用。模型直接融入結構化知識，或者作為功能插件。

七、具有增量學習、持續(xù)學習、人在回路能力的NLP。

八、小模型、模型編輯、領域適應、領域模型、面向特定應用和任務的模型、人類快速可干預。

九、人類意志的學習和對齊（物理、人類系統(tǒng)和信息智能社會的對齊）。

十、NLP引領的多模態(tài)大模型。自然語言模態(tài)偏向認知，而其他模態(tài)偏向感知。除了NLP大模型，多模態(tài)大模型更應該以NLP為引領或者基礎。

十一、NLP大工程和復雜系統(tǒng)的理念和認知：算法模型、算力、數據、系統(tǒng)工程。

十二、開源、開放、共享、產業(yè)、人才、資本、政府、社會……

最后總結一下，一是非常感謝表示學習，有了它之后NLP從離散數學模型進入連續(xù)數學模型時代，得到強大的數學工具的支持，比如可導、可微、神經網絡等任意連續(xù)數學函數；二是注意力和人機對齊機制，注意力擬合NLP的上下文。三是大，模型大、參數多、數據量大，由量變產生質變，涌現出各種能力。但這些才剛剛開始，成績多，問題更多，我們可做的事情極多。下一代模型的突破將加速發(fā)展，真正邁向通用人工智能。我們也期待下一代計算機能夠解決算力問題。學、產、研、用、資、政，大家要一起來做。

審核編輯 ：李倩