ChatGPT 是一種專(zhuān)注于對(duì)話(huà)生成的語(yǔ)言模型。它能夠根據(jù)用戶(hù)的文本輸入，產(chǎn)生相應(yīng)的智能回答。這個(gè)回答可以是簡(jiǎn)短的詞語(yǔ)，也可以是長(zhǎng)篇大論。其中GPT是Generative Pre-trained Transformer（生成型預(yù)訓(xùn)練變換模型）的縮寫(xiě)。

通過(guò)學(xué)習(xí)大量現(xiàn)成文本和對(duì)話(huà)集合（例如Wiki），ChatGPT能夠像人類(lèi)那樣即時(shí)對(duì)話(huà)，流暢的回答各種問(wèn)題。（當(dāng)然回答速度比人還是慢一些）無(wú)論是英文還是其他語(yǔ)言（例如中文、韓語(yǔ)等），從回答歷史問(wèn)題，到寫(xiě)故事，甚至是撰寫(xiě)商業(yè)計(jì)劃書(shū)和行業(yè)分析，“幾乎”無(wú)所不能。甚至有程序員貼出了ChatGPT進(jìn)行程序修改的對(duì)話(huà)。

ChatGPT也可以與其他AIGC模型聯(lián)合使用，獲得更加炫酷實(shí)用的功能。例如上面通過(guò)對(duì)話(huà)生成客廳設(shè)計(jì)圖。這極大加強(qiáng)了AI應(yīng)用與客戶(hù)對(duì)話(huà)的能力，使我們看到了AI大規(guī)模落地的曙光。

1、ChatGPT的傳承與特點(diǎn)

1.1 OpenAI家族

我們首先了解下OpenAI是哪路大神。

OpenAI總部位于舊金山，由特斯拉的馬斯克、Sam Altman及其他投資者在2015年共同創(chuàng)立，目標(biāo)是開(kāi)發(fā)造福全人類(lèi)的AI技術(shù)。而馬斯克則在2018年時(shí)因公司發(fā)展方向分歧而離開(kāi)。

此前，OpenAI 因推出 GPT系列自然語(yǔ)言處理模型而聞名。從2018年起，OpenAI就開(kāi)始發(fā)布生成式預(yù)訓(xùn)練語(yǔ)言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機(jī)器翻譯、問(wèn)答等各類(lèi)內(nèi)容。

每一代GPT模型的參數(shù)量都爆炸式增長(zhǎng)，堪稱(chēng)“越大越好”。2019年2月發(fā)布的GPT-2參數(shù)量為15億，而2020年5月的GPT-3，參數(shù)量達(dá)到了1750億。

GPT家族主要模型對(duì)比

1.2 ChatGPT的主要特點(diǎn)

ChatGPT 是基于GPT-3.5（Generative Pre-trained Transformer 3.5）架構(gòu)開(kāi)發(fā)的對(duì)話(huà)AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演練，或用于收集大量對(duì)話(huà)數(shù)據(jù)。

ChatGPT的主要特點(diǎn)

OpenAI使用 RLHF（Reinforcement Learning from Human Feedbac，人類(lèi)反饋強(qiáng)化學(xué)習(xí)） 技術(shù)對(duì) ChatGPT 進(jìn)行了訓(xùn)練，且加入了更多人工監(jiān)督進(jìn)行微調(diào)。

此外，ChatGPT 還具有以下特征：

1）可以主動(dòng)承認(rèn)自身錯(cuò)誤。若用戶(hù)指出其錯(cuò)誤，模型會(huì)聽(tīng)取意見(jiàn)并優(yōu)化答案。

2）ChatGPT 可以質(zhì)疑不正確的問(wèn)題。例如被詢(xún)問(wèn) “哥倫布 2015 年來(lái)到美國(guó)的情景” 的問(wèn)題時(shí)，機(jī)器人會(huì)說(shuō)明哥倫布不屬于這一時(shí)代并調(diào)整輸出結(jié)果。

3）ChatGPT 可以承認(rèn)自身的無(wú)知，承認(rèn)對(duì)專(zhuān)業(yè)技術(shù)的不了解。

4）支持連續(xù)多輪對(duì)話(huà)。

與大家在生活中用到的各類(lèi)智能音箱和“人工智障“不同，ChatGPT在對(duì)話(huà)過(guò)程中會(huì)記憶先前使用者的對(duì)話(huà)訊息，即上下文理解，以回答某些假設(shè)性的問(wèn)題。ChatGPT可實(shí)現(xiàn)連續(xù)對(duì)話(huà)，極大的提升了對(duì)話(huà)交互模式下的用戶(hù)體驗(yàn)。

對(duì)于準(zhǔn)確翻譯來(lái)說(shuō)（尤其是中文與人名音譯），ChatGPT離完美還有一段距離，不過(guò)在文字流暢度以及辨別特定人名來(lái)說(shuō)，與其他網(wǎng)絡(luò)翻譯工具相近。

由于 ChatGPT是一個(gè)大型語(yǔ)言模型，目前還并不具備網(wǎng)絡(luò)搜索功能，因此它只能基于2021年所擁有的數(shù)據(jù)集進(jìn)行回答。例如它不知道2022年世界杯的情況，也不會(huì)像蘋(píng)果的Siri那樣回答今天天氣如何、或幫你搜索信息。如果ChatGPT能上網(wǎng)自己尋找學(xué)習(xí)語(yǔ)料和搜索知識(shí)，估計(jì)又會(huì)有更大的突破。

即便學(xué)習(xí)的知識(shí)有限，ChatGPT 還是能回答腦洞大開(kāi)的人類(lèi)的許多奇葩問(wèn)題。為了避免ChatGPT染上惡習(xí)， ChatGPT 通過(guò)算法屏蔽，減少有害和欺騙性的訓(xùn)練輸入。，查詢(xún)通過(guò)適度 API 進(jìn)行過(guò)濾，并駁回潛在的種族主義或性別歧視提示。

2、ChatGPT/GPT的原理

2.1 NLP

NLP/NLU領(lǐng)域已知局限包括對(duì)重復(fù)文本、對(duì)高度專(zhuān)業(yè)的主題的誤解，以及對(duì)上下文短語(yǔ)的誤解。

對(duì)于人類(lèi)或AI，通常需接受多年的訓(xùn)練才能正常對(duì)話(huà)。NLP類(lèi)模型不僅要理解單詞的含義，還要理解如何造句和給出上下文有意義的回答，甚至使用合適的俚語(yǔ)和專(zhuān)業(yè)詞匯。

NLP技術(shù)的應(yīng)用領(lǐng)域

本質(zhì)上，作為ChatGPT基礎(chǔ)的GPT-3或GPT-3.5 是一個(gè)超大的統(tǒng)計(jì)語(yǔ)言模型或順序文本預(yù)測(cè)模型。

2.2 GPT v.s.BERT

與BERT模型類(lèi)似，ChatGPT或GPT-3.5都是根據(jù)輸入語(yǔ)句，根據(jù)語(yǔ)言/語(yǔ)料概率來(lái)自動(dòng)生成回答的每一個(gè)字（詞語(yǔ)）。從數(shù)學(xué)或從機(jī)器學(xué)習(xí)的角度來(lái)看，語(yǔ)言模型是對(duì)詞語(yǔ)序列的概率相關(guān)性分布的建模，即利用已經(jīng)說(shuō)過(guò)的語(yǔ)句（語(yǔ)句可以視為數(shù)學(xué)中的向量）作為輸入條件，預(yù)測(cè)下一個(gè)時(shí)刻不同語(yǔ)句甚至語(yǔ)言集合出現(xiàn)的概率分布。

ChatGPT 使用來(lái)自人類(lèi)反饋的強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，這種方法通過(guò)人類(lèi)干預(yù)來(lái)增強(qiáng)機(jī)器學(xué)習(xí)以獲得更好的效果。在訓(xùn)練過(guò)程中，人類(lèi)訓(xùn)練者扮演著用戶(hù)和人工智能助手的角色，并通過(guò)近端策略?xún)?yōu)化算法進(jìn)行微調(diào)。

由于ChatGPT更強(qiáng)的性能和海量參數(shù)，它包含了更多的主題的數(shù)據(jù)，能夠處理更多小眾主題。ChatGPT現(xiàn)在可以進(jìn)一步處理回答問(wèn)題、撰寫(xiě)文章、文本摘要、語(yǔ)言翻譯和生成計(jì)算機(jī)代碼等任務(wù)。

BERT與GPT的技術(shù)架構(gòu)（圖中En為輸入的每個(gè)字，Tn為輸出回答的每個(gè)字）