電子發(fā)燒友網(wǎng)報道（文/李彎彎）日前，由OpenAI訓(xùn)練的大規(guī)模語言模型ChatGPT上線。ChatGPT背后的算法基于Transformer架構(gòu)，這是一種使用自注意力機制處理輸入數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)。Transformer架構(gòu)廣泛應(yīng)用于語言翻譯、文本摘要、問答等自然語言處理任務(wù)。

ChatGPT可用于創(chuàng)建能與用戶進行對話的聊天機器人，由ChatGPT構(gòu)建的對話機器人，可以高質(zhì)量的回答用戶的提問，能夠?qū)懶≌f，編寫程序。不僅能夠為用戶提供有用的信息還很好玩，因此迅速出圈。據(jù)稱，ChatGPT的用戶數(shù)量已經(jīng)突破100萬。

什么是ChatGPT

OpenAI是2015年在美國成立的一家人工智能研究機構(gòu)，由馬斯克、美國創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼、全球在線支付平臺PayPal聯(lián)合創(chuàng)始人彼得·蒂爾等創(chuàng)立。后來馬斯克退出，微軟在2019年向OpenAI投資10億美元。

OpenAI分別在2018年、2019年和2020年相繼推出語言模型GPT-1、GPT-2和GPT-3。其中GPT-3在2020年6月上線的時候引起很大關(guān)注，被認(rèn)為是史上最強大的AI模型語言模型，參數(shù)量達(dá)到1750億。

相比GPT-3而言，今年初，OpenAI 采用對齊研究（alignment research），訓(xùn)練出更真實、更無害，而且更好地遵循用戶意圖的語言模型InstructGPT，被認(rèn)為是GPT-3.5版本。

OpenAI此次上線的ChatGPT，其訓(xùn)練方法和InstructGPT大體一樣，只是在使用的數(shù)據(jù)集上有微小差別。首先，通過有監(jiān)督學(xué)習(xí)訓(xùn)練出初始模型：人類AI培訓(xùn)員分別作為使用者和AI助手，模擬用戶和AI的對話。在這個過程中，人類AI培訓(xùn)員能夠訪問機器編寫的建議來幫助他們生成恰當(dāng)?shù)幕貜?fù)。

為了創(chuàng)建出強化學(xué)習(xí)所需要的獎勵機制，OpenAI將數(shù)個機器生成的回復(fù)進行對比，并按照回復(fù)質(zhì)量由高到低進行排序。訓(xùn)練團隊選取了人類AI培訓(xùn)員與機器的對話后，從中隨機挑選一條機器編寫的信息，和幾條替代選項放在一起，讓人類AI培訓(xùn)員進行排序。通過這種近端策略優(yōu)化方法，可以篩選出最讓人滿意的模型，多次迭代后便訓(xùn)練出了現(xiàn)在的版本。

ChatGPT有多強大

相比之下，ChatGPT比GPT-3更強。GPT-3只預(yù)測任何給定的單詞串之后的文本，而ChatGPT則試圖以一種更像人類的方式與用戶發(fā)生互動。ChatGPT的互動非常流暢，并且有能力參與各種主題，與幾年前才面世的聊天機器人相比，有巨大改進。

ChatGPT到底有多強大，由其構(gòu)建的聊天機器人，交互界面簡潔，只有一個輸入框，AI將根據(jù)輸入內(nèi)容進行回復(fù)，并允許在一個語境下持續(xù)聊天。從用戶的使用情況來看，無論是讓它寫首押韻的詩、檢查代碼的bug、回答科學(xué)問題，它都能隨機給出令人滿意的答案。

比如，知識講解。


比如，寫小說。


有人用《老友記》等喜劇演員為角色，讓它寫一些肥皂劇對白，它可以寫得惟妙惟肖。解釋極其專業(yè)的科學(xué)概念也不在話下。它甚至可以寫一些基本的學(xué)術(shù)文章。

總之，ChatGPT可以回答基本的、甚至無聊的瑣碎問題，也可以解釋專業(yè)的知識。這讓許多人認(rèn)為，像這樣的人工智能系統(tǒng)有一天會取代搜索引擎。聊天機器人是根據(jù)從網(wǎng)上收集到的信息進行訓(xùn)練的。因此，如果能準(zhǔn)確地呈現(xiàn)這些信息，并以更流暢和對話的語調(diào)來進行反饋，這將代表著傳統(tǒng)搜索的巨大進步。

ChatGPT也存在問題

雖然很多用戶對ChatGPT的功能印象深刻，然而也有人注意到，它容易產(chǎn)生看似合理但錯誤的回答。比如，讓ChatGPT寫一個公眾人物的傳記，它很可能插入錯誤的人物生平。讓它為特定功能編寫程序，它也許會生成看起來可信但最終不正確的代碼。

普林斯頓大學(xué)計算機科學(xué)教授Arvind Narayanan在推特上指出，人們對使用ChatGPT學(xué)習(xí)感到興奮。不過，除非你已經(jīng)知道答案，否則你無法判斷它什么時候是錯的。他說：“我嘗試了一些基本的信息安全問題。在大多數(shù)情況下，答案聽起來似乎有理，但實際上漏洞百出?！?br />
近日，編程問答網(wǎng)站Stack Overflow暫時禁止用戶分享ChatGPT生成的回復(fù)。原因是，Stack Overflow認(rèn)為，ChatGPT很容易與用戶互動，且可以快速生成大量回答，這讓網(wǎng)站充斥著許多第一眼看起來是正確的答案，但在仔細(xì)檢查后就能發(fā)現(xiàn)其中的錯誤。

OpenAI也坦誠地表示，由于ChatGPT的知識只來自訓(xùn)練數(shù)據(jù)中的統(tǒng)計規(guī)律，而不是任何類似人類對世界復(fù)雜和抽象系統(tǒng)的理解，因此該系統(tǒng)可能偶爾會產(chǎn)生不正確或誤導(dǎo)性的信息，并產(chǎn)生攻擊性或有偏見的內(nèi)容。

ChatGPT頻出的錯誤是人工智能文本生成模型的幾個眾所周知的缺點之一。這些系統(tǒng)通過分析從網(wǎng)上抓取的大量文本來訓(xùn)練機器人。人工智能在這些數(shù)據(jù)中尋找統(tǒng)計規(guī)律，并利用這些規(guī)律來預(yù)測給定的句子中，接下來應(yīng)該出現(xiàn)什么單詞。然而，這意味著他們?nèi)狈κ澜缟显S多系統(tǒng)運行的硬編碼規(guī)則，導(dǎo)致他們傾向于產(chǎn)生“流利的廢話”。

小結(jié)

不可否認(rèn)的是，OpenAI訓(xùn)練的ChatGPT確實非常強大，可以回答無聊的問題，也能解釋專業(yè)的科學(xué)問題，可以寫小說，也可以編寫程序。然而確實也還存在問題，對2021年之后的世界認(rèn)知有限，對某些特定人群的問題知之甚少，寫的人物傳記不準(zhǔn)確等。目前來說，將其作為新一代的搜索引擎還存在風(fēng)險。不過ChatGPT的上線也展示出了人工智能的更多可能。