LLM|ChatGPT| Google

PPO |Open AI|LaMDA

隨著深度學(xué)習(xí)、高性能計(jì)算、數(shù)據(jù)分析、數(shù)據(jù)挖掘、LLM、PPO、NLP等技術(shù)的快速發(fā)展，ChatGPT得到快速發(fā)展。ChatGPT是OpenAI開(kāi)發(fā)的大型預(yù)訓(xùn)練語(yǔ)言模型，GPT-3模型的一個(gè)變體，經(jīng)過(guò)訓(xùn)練可以在對(duì)話中生成類(lèi)似人類(lèi)的文本響應(yīng)。

ChatGPT背后的算法基于Transformer架構(gòu)，這是一種使用自注意力機(jī)制處理輸入數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)。Transformer架構(gòu)廣泛應(yīng)用于語(yǔ)言翻譯、文本摘要、問(wèn)答等自然語(yǔ)言處理任務(wù)等領(lǐng)域。ChatGPT可用于創(chuàng)建能與用戶(hù)進(jìn)行對(duì)話的聊天機(jī)器人。這對(duì)客戶(hù)服務(wù)很有用，因?yàn)樗峁┝擞杏玫男畔ⅰ?/p>

ChatGPT訓(xùn)練全過(guò)程

ChatGPT作為一個(gè)智能對(duì)話系統(tǒng)，最近這兩天火爆了。網(wǎng)上到處都在傳ChatGPT相關(guān)的內(nèi)容和測(cè)試實(shí)例，效果真的很震撼。記得上一次引起如此轟動(dòng)的AI技術(shù)是兩年半以前的事了，那時(shí)候人工智能如日中天；多模態(tài)領(lǐng)域是以DaLL E2、Stable Diffusion為代表的Diffusion Model，也就是最近一直流行的AIGC模型。關(guān)于AIGC這里就不多介紹了，如有感興趣的可以看小編之前關(guān)于AIGC文章。

在整體技術(shù)路線上，ChatGPT引入了“手動(dòng)標(biāo)注數(shù)據(jù)+強(qiáng)化學(xué)習(xí)”(RLHF，從人的反饋進(jìn)行強(qiáng)化學(xué)習(xí))來(lái)不斷Fine-tune預(yù)訓(xùn)練語(yǔ)言模型。主要目的是讓LLM模型學(xué)會(huì)理解人類(lèi)命令的含義(比如寫(xiě)一篇短文生成問(wèn)題、知識(shí)回答問(wèn)題、頭腦風(fēng)暴問(wèn)題等不同類(lèi)型的命令)，讓LLM學(xué)會(huì)判斷對(duì)于給定的提示輸入指令(用戶(hù)的問(wèn)題)什么樣的回答是優(yōu)質(zhì)的(富含信息、內(nèi)容豐富、對(duì)用戶(hù)有幫助、無(wú)害、不包含歧視信息等多種標(biāo)準(zhǔn))。

在“人工標(biāo)注數(shù)據(jù)+強(qiáng)化學(xué)習(xí)”的框架下，具體來(lái)說(shuō)，ChatGPT的訓(xùn)練過(guò)程分為以下三個(gè)階段:

一、第一階段

以GPT 3.5本身來(lái)說(shuō)，雖然強(qiáng)大，但是很難理解不同類(lèi)型的人類(lèi)不同指令中所包含的不同意圖，也很難判斷生成的內(nèi)容是否是高質(zhì)量的結(jié)果。為了讓GPT 3.5初步理解指令中包含的意圖，首先會(huì)隨機(jī)抽取一批測(cè)試用戶(hù)提交的prompt(即指令或問(wèn)題)，由專(zhuān)業(yè)的標(biāo)注者對(duì)指定的提示給出高質(zhì)量的回答，然后專(zhuān)業(yè)人員標(biāo)注的數(shù)據(jù)對(duì)GPT 3.5模型進(jìn)行微調(diào)。通過(guò)這個(gè)過(guò)程，可以認(rèn)為GPT 3.5初步具備了理解人類(lèi)提示所包含的意圖，并根據(jù)這種意圖給出相對(duì)高質(zhì)量答案的能力。

二、第二階段

這個(gè)階段的主要目的是通過(guò)人工標(biāo)注訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練回報(bào)模型。具體是隨機(jī)抽取一批用戶(hù)提交的prompt(大部分與第一階段相同)，使用第一階段Fine-tune的冷啟動(dòng)模型。對(duì)于每個(gè)prompt，冷啟動(dòng)模型產(chǎn)生K個(gè)不同的答案，因此該模型產(chǎn)生,….數(shù)據(jù)。之后，標(biāo)注人員根據(jù)多種標(biāo)準(zhǔn)(上述的相關(guān)性、富含信息性、有害信息等諸多標(biāo)準(zhǔn))對(duì)X個(gè)結(jié)果進(jìn)行排序，給出X個(gè)結(jié)果的排名順序，這就是這個(gè)階段人工標(biāo)注的數(shù)據(jù)。

接下來(lái)利用這個(gè)排序結(jié)果數(shù)據(jù)來(lái)訓(xùn)練回報(bào)模型。采用的訓(xùn)練模式其實(shí)就是通常用到的pair-wise learning to rank。對(duì)于X排序結(jié)果，兩兩組合形成一個(gè)訓(xùn)練數(shù)據(jù)對(duì)，ChatGPT采用pair-wise loss來(lái)訓(xùn)練Reward Model。RM模型接受一個(gè)輸入，并給出一個(gè)獎(jiǎng)勵(lì)分?jǐn)?shù)來(lái)評(píng)估答案的質(zhì)量。對(duì)于一對(duì)訓(xùn)練數(shù)據(jù)，假設(shè)answer1排在answer2前面，那么Loss函數(shù)鼓勵(lì)RM模型比其他的得分更高。

歸納下：在這個(gè)階段里，首先由冷啟動(dòng)后的監(jiān)督策略模型為每個(gè)prompt產(chǎn)生X個(gè)結(jié)果，人工根據(jù)結(jié)果質(zhì)量由高到低排序，以此作為訓(xùn)練數(shù)據(jù)，通過(guò)pair-wise learning to rank模式來(lái)訓(xùn)練回報(bào)模型。對(duì)于學(xué)好的RM模型來(lái)說(shuō)，輸入，輸出結(jié)果的質(zhì)量得分，得分越高說(shuō)明產(chǎn)生的回答質(zhì)量越高。

三、第三階段

本階段不需要手動(dòng)標(biāo)注數(shù)據(jù)，而是使用前一階段學(xué)習(xí)的RM模型，根據(jù)RM評(píng)分結(jié)果更新預(yù)訓(xùn)練模型的參數(shù)。具體來(lái)說(shuō)，首先從用戶(hù)提交的prompt中隨機(jī)抽取一批新的命令(指不同于第一、第二階段的新提示，實(shí)際上非常重要，對(duì)于提升LLM模型理解instruct指令的泛化能力很有幫助)，由冷啟動(dòng)模型初始化PPO模型的參數(shù)。然后對(duì)于隨機(jī)選取的prompt，用PPO模型生成回答answer，用前一階段訓(xùn)練好的RM模型給出answer質(zhì)量評(píng)估的獎(jiǎng)勵(lì)分?jǐn)?shù)，這是RM對(duì)整個(gè)答案(由詞序列組成)給出的整體reward。有了單詞序列的最終回報(bào)，每個(gè)單詞可以視為一個(gè)時(shí)間步長(zhǎng)，把reward由后往前依次傳遞，由此產(chǎn)生的策略梯度可以更新PPO模型參數(shù)。這是標(biāo)準(zhǔn)的強(qiáng)化學(xué)習(xí)過(guò)程，目的是訓(xùn)練LLM產(chǎn)生高reward的答案，也即是產(chǎn)生符合RM標(biāo)準(zhǔn)的高質(zhì)量回答。

如果我們不斷重復(fù)第二和第三階段，很明顯，每次迭代都使LLM模型越來(lái)越強(qiáng)大。因?yàn)樵诘诙A段，RM模型的能力通過(guò)人工標(biāo)注數(shù)據(jù)來(lái)增強(qiáng)的，而在第三階段，增強(qiáng)的RM模型對(duì)新prompt產(chǎn)生的回答進(jìn)行更準(zhǔn)確的評(píng)分，并使用強(qiáng)化學(xué)習(xí)來(lái)鼓勵(lì)LLM模型學(xué)習(xí)新的高質(zhì)量?jī)?nèi)容，這類(lèi)似于使用偽標(biāo)簽來(lái)擴(kuò)展高質(zhì)量的訓(xùn)練數(shù)據(jù)，所以LLM模型得到進(jìn)一步增強(qiáng)。顯然，第二階段和第三階段是相互促進(jìn)的，這就是為什么不斷迭代會(huì)有不斷增強(qiáng)的效果。

盡管如此，小編認(rèn)為在第三階段采用強(qiáng)化學(xué)習(xí)策略并不一定是ChatGPT模型效果特別好的主要原因。假設(shè)第三階段不采用強(qiáng)化學(xué)習(xí)，取而代之的是以下方法：類(lèi)似于第二階段的做法，對(duì)于一個(gè)新的prompt，冷啟動(dòng)模型可以生成X個(gè)答案，分別由RM模型打分。我們選擇得分最高的答案形成新的訓(xùn)練數(shù)據(jù)，并進(jìn)入fine-tuneLLM模型。假設(shè)換成這種模式，相信效果可能會(huì)比強(qiáng)化學(xué)習(xí)更好。雖然沒(méi)那么精致，但效果不一定差很多。第三階段無(wú)論采用哪種技術(shù)模式，本質(zhì)上很可能都是利用第二階段學(xué)會(huì)的RM，起到了擴(kuò)充LLM模型高質(zhì)量訓(xùn)練數(shù)據(jù)的作用。

以上是ChatGPT的訓(xùn)練過(guò)程，這是一個(gè)改進(jìn)的instructGPT，改進(jìn)點(diǎn)主要是標(biāo)注數(shù)據(jù)收集方法上的一些差異。其他方面，包括模型結(jié)構(gòu)和訓(xùn)練過(guò)程，基本遵循instructGPT?？梢灶A(yù)見(jiàn)的是，這種Reinforcement Learning from Human Feedback技術(shù)將會(huì)迅速蔓延到其他內(nèi)容生成方向，比如一個(gè)很容易想到的方向，類(lèi)似“A machine translation model based on Reinforcement Learning from Human Feedback”等等。但個(gè)人認(rèn)為在NLP的某個(gè)特定內(nèi)容生成領(lǐng)域采用這種技術(shù)意義不大，因?yàn)镃hatGPT本身可以處理各種類(lèi)型的任務(wù)，基本涵蓋了NLP生成的很多子領(lǐng)域。所以對(duì)于某個(gè)NLP子領(lǐng)域，單獨(dú)采用這種技術(shù)的價(jià)值不大，因?yàn)槠淇尚行钥梢哉J(rèn)為已經(jīng)被ChatGPT驗(yàn)證了。如果將這種技術(shù)應(yīng)用于其他模式的生成，如圖片、音頻、視頻等，可能是更值得探索的方向。也許很快就會(huì)看到類(lèi)似“A XXX diffusion model based on Reinforcement Learning from Human Feedback”之類(lèi)的東西。

ChatGPT突然一下子火起來(lái)的原因？

ChatGPT因?yàn)椴僮骱?jiǎn)單，容易上手，所以能快速走紅。打開(kāi)后，在對(duì)話框中輸入問(wèn)題即可獲得答案。而且像一個(gè)全能選手一樣，經(jīng)常能給人意想不到的答案。

ChatGPT輕松應(yīng)對(duì)日常對(duì)話。它可以區(qū)分某些問(wèn)題中的描述性錯(cuò)誤，可以直接拒絕不合理、不道德的要求。

ChatGPT一個(gè)令人驚訝的表現(xiàn)在于可以創(chuàng)作文學(xué)。比如給ChatGPT一個(gè)話題，就能寫(xiě)出一個(gè)小說(shuō)框架。ChatGPT以“AI改變世界”為主線寫(xiě)小說(shuō)框架時(shí)，ChatGPT明確給出了故事背景、主人公、故事情節(jié)和結(jié)局。

ChatGPT 根據(jù)命題撰寫(xiě)小說(shuō)框架

用戶(hù)體驗(yàn)后評(píng)價(jià)“ChatGPT的語(yǔ)言組織能力、文字水平、邏輯能力可以說(shuō)是令人驚嘆”。有些用戶(hù)甚至打算把日?qǐng)?bào)、周報(bào)、總結(jié)、反思交給ChatGPT來(lái)輔助。

普通的文字創(chuàng)作只是最基礎(chǔ)的，ChatGPT還可以發(fā)現(xiàn)程序員代碼中的Bug。一些開(kāi)發(fā)者在試用中表示，ChatGPT為他們的技術(shù)問(wèn)題提供了非常詳細(xì)的解決方案，比一些搜索軟件的答案更可靠。美國(guó)代碼托管平臺(tái)Replit的Amjad Masad在推發(fā)文稱(chēng)，ChatGPT是一個(gè)優(yōu)秀的“調(diào)試伙伴”。“它不僅解釋錯(cuò)誤，而且修復(fù)錯(cuò)誤并解釋修復(fù)方法”。

ChatGPT更有商業(yè)邏輯，不僅對(duì)自己的優(yōu)勢(shì)和劣勢(shì)了如指掌，還能分析競(jìng)品，撰寫(xiě)營(yíng)銷(xiāo)報(bào)告。甚至對(duì)世界經(jīng)濟(jì)形勢(shì)也“了如指掌”，能說(shuō)出自己的見(jiàn)解。

有人把ChatGPT比作“搜索引擎+社交軟件”的組合，可以在實(shí)時(shí)交互的過(guò)程中得到問(wèn)題的答案。很多用戶(hù)抱著好玩的心態(tài)與ChatGPT互動(dòng)，但隨著體驗(yàn)的深入，也會(huì)擔(dān)心自己有一天會(huì)不會(huì)因?yàn)锳I而失業(yè)。

國(guó)盛證券區(qū)塊鏈研究所在研究報(bào)告中表示，ChatGPT在尋找答案和解決問(wèn)題的效率上已經(jīng)部分超越了當(dāng)今的搜索引擎。ChatGPT可能會(huì)改變我們未來(lái)獲取信息和輸出內(nèi)容的方式，AIGC有望成為數(shù)字經(jīng)濟(jì)時(shí)代驅(qū)動(dòng)需求爆炸的殺手級(jí)應(yīng)用。

ChatGPT能實(shí)現(xiàn)當(dāng)前的交互，離不開(kāi)OpenAI在AI預(yù)訓(xùn)練大模型領(lǐng)域的積累。OpenAI是微軟投資的AI實(shí)驗(yàn)室，也是全球AI領(lǐng)域領(lǐng)先的AI實(shí)驗(yàn)室之一。

自2018年以來(lái)，OpenAI一直在發(fā)布生成式預(yù)訓(xùn)練語(yǔ)言模型GPT（Generative Pre-trained Transformer），可用于生成文章、代碼、機(jī)器翻譯、問(wèn)答等各類(lèi)內(nèi)容。在當(dāng)時(shí)，參數(shù)數(shù)量只有1.17億。

接下來(lái)，OpenAI每一代GPT模型的參數(shù)都出現(xiàn)了爆炸式增長(zhǎng)，2019年2月發(fā)布的GPT-2參數(shù)量為15億，2020年5月的GPT-3參數(shù)量達(dá)到1750億，直接帶動(dòng)了前訓(xùn)練大模型成為近兩年AI領(lǐng)域的發(fā)展趨勢(shì)，掀起了一場(chǎng)拼參數(shù)、拼算力的軍備競(jìng)賽。

GPT-4 還未到來(lái)，此次發(fā)布的ChatGPT被視為基于GPT-3的微調(diào)版本，即GPT-3.5。

據(jù) OpenAI 介紹，ChatGPT采用的模型采用“利用人類(lèi)反饋強(qiáng)化學(xué)習(xí)（RLHF）”的訓(xùn)練方式，包括：人類(lèi)提問(wèn)機(jī)器答，機(jī)器提問(wèn)人類(lèi)回答，并且不斷迭代，使模型逐漸具備判斷生成答案的能力。與GPT-3相比，ChatGPT的主要改進(jìn)在于記憶能力，可以實(shí)現(xiàn)連續(xù)對(duì)話，在對(duì)話的交互方式上大大提升了用戶(hù)體驗(yàn)。

ChatGPT的不足之處

ChatGPT并不總能帶來(lái)驚喜。不可否認(rèn)，它還是有很多局限性的。當(dāng)要求ChatGPT創(chuàng)作時(shí)，它可以自由發(fā)揮。然而，當(dāng)你的目標(biāo)是尋求正確的答案時(shí)，ChatGPT有時(shí)可能無(wú)法達(dá)到預(yù)期。

比如讓 ChatGPT 做一道小學(xué)數(shù)學(xué)題，它看似寫(xiě)出了一長(zhǎng)串計(jì)算過(guò)程，給出的卻是錯(cuò)誤答案。

ChatGPT 對(duì)于部分題無(wú)法給出正確答案

深入體驗(yàn)后，會(huì)發(fā)現(xiàn)ChatGPT在一些文化常識(shí)問(wèn)題和數(shù)學(xué)計(jì)算問(wèn)題上并不是很擅長(zhǎng)。而且ChatGPT的回答往往是大段大段，過(guò)于冗長(zhǎng)，看似邏輯自洽，但有時(shí)是在一本正經(jīng)“忽悠人”。仔細(xì)想想，會(huì)發(fā)現(xiàn)一些漏洞。如果非專(zhuān)業(yè)人士不能分辨ChatGPT答案的準(zhǔn)確性，很有可能會(huì)被嚴(yán)重誤導(dǎo)。

Stack Overflow因此決定暫時(shí)禁止它。據(jù)悉，ChatGPT出現(xiàn)后，該模型生成的大量答案很快出現(xiàn)在Stack Overflow上。這些答案通常需要有一些專(zhuān)業(yè)知識(shí)的人詳細(xì)閱讀才能分辨出他們是錯(cuò)的。

這種情況影響了堆棧溢出的質(zhì)量管理。ChatGPT還表示：“由于AI生成的答案并不總是準(zhǔn)確或相關(guān)的，因此可能會(huì)導(dǎo)致Stack Overflow上錯(cuò)誤答案的混亂，并誤導(dǎo)正在尋求幫助的用戶(hù)。”并且還聲明:“Stack Overflow禁止使用AI生成答案是合理的?！?/p>

OpenAI還提到，ChatGPT有時(shí)會(huì)給出看似合理但不正確的答案。對(duì)于這個(gè)問(wèn)題，Sam Altman表示:“試圖阻止ChatGPT隨機(jī)捏造，在現(xiàn)階段與現(xiàn)有技術(shù)保持平衡是很棘手的。隨著時(shí)間的推移，會(huì)根據(jù)用戶(hù)反饋進(jìn)行改進(jìn)?！?/p>

所以有些用戶(hù)把ChatGPT定位為聊天解悶的好朋友。當(dāng)你遇到困境或者需要尋找意義時(shí)，ChatGPT可以給出類(lèi)似“命運(yùn)之書(shū)”的答案。有些用戶(hù)把ChatGPT當(dāng)成效率工具，在文案或者一些專(zhuān)業(yè)問(wèn)題上尋找參考。

AI是否已具有人類(lèi)智能？

2022年12月，人工智能聊天機(jī)器人ChatGPT刷爆網(wǎng)絡(luò)，網(wǎng)友們爭(zhēng)先恐后去領(lǐng)略它的超高情商和巨大威力。參加高考、修改代碼、構(gòu)思小說(shuō)......它在廣大網(wǎng)友的“鞭策”下不斷突破自我，甚至可以用一整段程序，拼接出一只小狗。那么，ChatGPT是如何煉成的？是否意味著AI已具有人類(lèi)智能呢？

chatGPT的程序小狗

ChatGPT是GPT（或生成式預(yù)訓(xùn)練轉(zhuǎn)換器）文本生成AI系列的最新發(fā)展，根據(jù)從互聯(lián)網(wǎng)上獲取的大量文本樣本來(lái)進(jìn)行訓(xùn)練。

一經(jīng)發(fā)布，ChatGPT便在網(wǎng)友的瘋狂“檢測(cè)”和“調(diào)戲”中表現(xiàn)出各種驚人的能力。OpenAI首席執(zhí)行官Sam Altman表示，自11月30日至12月5日，ChatGPT的用戶(hù)數(shù)量已突破100萬(wàn)，需求大于預(yù)期。

在廣大網(wǎng)友的不懈努力下，ChatGPT短短幾天之內(nèi)完成了：

1、參加了美國(guó)高校的入學(xué)資格考試（SAT），成績(jī)?yōu)橹械葘W(xué)生水平；

2、用《坎特伯雷故事集》風(fēng)格改寫(xiě)了90年代熱門(mén)歌曲《Baby Got Back》；

3、用《老友記》主角口吻創(chuàng)作了劇本對(duì)白；

4、構(gòu)思了簡(jiǎn)短的偵探小說(shuō)；

5、簡(jiǎn)要闡釋了經(jīng)濟(jì)學(xué)理論；

6、給出了消除經(jīng)濟(jì)不平等的六點(diǎn)計(jì)劃；

7、與人類(lèi)進(jìn)行“心理戰(zhàn)”，猜想人類(lèi)實(shí)際上想讓計(jì)算機(jī)做什么；

8、規(guī)劃了如何毀滅世界；

9、生成關(guān)鍵詞指導(dǎo)AI作畫(huà)；

10、扮演OpenAI，在系統(tǒng)內(nèi)構(gòu)建了ChatGPT套娃，相當(dāng)于“我”生了一個(gè)“我”

ChatGPT的網(wǎng)絡(luò)界面

AI是否已具有人類(lèi)智能？

討論AI是否具有真正的“智能”是人類(lèi)的游戲。圖靈測(cè)試（The Turing test）已經(jīng)成為人工智能領(lǐng)域的核心目標(biāo)之一。它由艾倫·麥席森·圖靈提出，被公認(rèn)為人工智能崛起的標(biāo)志。圖靈測(cè)試人為地將“思想能力”定義在功能和實(shí)用的范疇內(nèi)，為“智力”設(shè)置了條件。

圖靈測(cè)試到底是什么意思？簡(jiǎn)單來(lái)說(shuō)，就是把機(jī)器關(guān)在小黑屋里，讓它和人類(lèi)聊天對(duì)話，然后在小黑屋里分辨回答問(wèn)題的是機(jī)器還是人類(lèi)。如果不能分辨，說(shuō)明機(jī)器和人的智能水平一樣，通過(guò)了測(cè)試。

到目前為止，還沒(méi)有、AI模型能真正通過(guò)圖靈測(cè)試。

談到GPT-4將如何優(yōu)化，ChatGPT給出了以下答案:

GPT-4是一個(gè)大型語(yǔ)言模型，也是人工智能領(lǐng)域最先進(jìn)的技術(shù)之一。在大量訓(xùn)練數(shù)據(jù)的基礎(chǔ)上，可以模擬人類(lèi)的語(yǔ)言表達(dá)能力，用相似的語(yǔ)言回答問(wèn)題。目前GPT-4還在優(yōu)化中，可能在以下幾個(gè)方面有一些改進(jìn):

1、增加更多的訓(xùn)練數(shù)據(jù)，以提高其知識(shí)和準(zhǔn)確性；

2、增加更復(fù)雜的算法來(lái)提高其性能和處理能力；

3、增加更多的功能，如語(yǔ)音合成和圖像識(shí)別，以提高其應(yīng)用能力；

4、增加更多的輸入和輸出接口，如聊天機(jī)器人、問(wèn)答系統(tǒng)等，以提高其便利性。

未來(lái)，AI真的能擁有人類(lèi)的智能嗎？眾說(shuō)紛紜。也許奇點(diǎn)已然臨近，也可能還只是空中樓閣。但不可否認(rèn)的是，ChatGPT必將引領(lǐng)人工智能領(lǐng)域的先鋒革命。

ChatGPT能做游戲？

ChatGPT這種新模型的火爆程度不用多說(shuō)，因?yàn)樗挠锰帉?shí)在太廣泛，這兩天服務(wù)器直接被擠爆了。當(dāng)然，怎么會(huì)沒(méi)人嘗試用它做游戲呢？結(jié)合一些開(kāi)發(fā)者和自己的嘗試，雖然ChatGPT目前還不能達(dá)到完美的輔助效果，但是它的表現(xiàn)一定會(huì)超出你的預(yù)期。

從最簡(jiǎn)單的文字游戲開(kāi)始ChatGPT就表現(xiàn)地很好。最幸福的應(yīng)該是跑團(tuán)的玩家(桌上角色扮演游戲)?，F(xiàn)在，他們不需要再去煞費(fèi)苦心地找場(chǎng)地，聚集玩家，找有經(jīng)驗(yàn)的演職人員。只需給AI輸入一些世界觀信息，就可以開(kāi)啟一段自由度很高的冒險(xiǎn)，因?yàn)锳I會(huì)根據(jù)輸入靈活地生成結(jié)果。

有一些熟練的玩家甚至總結(jié)出了訓(xùn)練AI的運(yùn)行模板，可以將游戲分成不同的模式，并提供完整的查詢(xún)、暫停等完整的系統(tǒng)功能。另外，GitHub現(xiàn)在已經(jīng)有了將ChatGPT連接到群機(jī)器人的代碼，很多群聊都變成了聯(lián)機(jī)AI跑群。

當(dāng)然，這只是基于AI本身展開(kāi)的互動(dòng)文字游戲，可能與我們認(rèn)知中的“做游戲”有所不同。但是，用代碼寫(xiě)一個(gè)可運(yùn)行的游戲，也根本難不倒ChatGPT，簡(jiǎn)單到幾乎唾手可得。舉個(gè)最簡(jiǎn)單的例子，輸入用xx語(yǔ)言實(shí)現(xiàn)猜拳、貪吃蛇、俄羅斯方塊等簡(jiǎn)單游戲的要求，就會(huì)自己完善規(guī)則，輸出代碼。

把完整的代碼復(fù)制保存，通常幾乎一行都不用改，游戲就能順利運(yùn)行。而且隨時(shí)可以改變需求，它也會(huì)自動(dòng)補(bǔ)全規(guī)則、生成新的代碼。只能說(shuō)以后計(jì)算機(jī)系學(xué)生的作業(yè)，可能大半都要被它包圓了。

這對(duì)游戲開(kāi)發(fā)小白來(lái)說(shuō)絕對(duì)是大大的福利，在B站上，就已經(jīng)有人在零基礎(chǔ)的情況下，靠ChatGPT做出了一款完整的Unity打磚塊游戲，同樣沒(méi)有改過(guò)代碼。

為什么說(shuō)是小白福利呢？因?yàn)樗恢鼓軐?xiě)代碼，還會(huì)相當(dāng)人性化地回復(fù)你。當(dāng)然，它不能完全替代教程，但比起漫無(wú)目的地尋找零散資源，問(wèn)AI顯然快多了。更別說(shuō)它連這么口語(yǔ)化的表述都能理解——

也有UP主嘗試用它來(lái)寫(xiě)《植物大戰(zhàn)僵尸》，結(jié)果也發(fā)現(xiàn)模塊功能完全不用改代碼，直接就能用。由于受到字符長(zhǎng)度限制，完整的項(xiàng)目代碼沒(méi)辦法一步到位，但這不算大問(wèn)題。

2D能做，3D行不行？當(dāng)然可以！至少已經(jīng)有人用它在Unity、UE里實(shí)現(xiàn)過(guò)簡(jiǎn)單的射擊游戲了。雖然看起來(lái)仍然很簡(jiǎn)陋，但如果你有耐心多搗鼓搗鼓，我不懷疑它能實(shí)現(xiàn)一個(gè)相對(duì)復(fù)雜的大型需求。

ChatGPT能否取代Google百度等搜索引擎

既然看上去ChatGPT幾乎無(wú)所不能地回答各種類(lèi)型的prompt，那么一個(gè)很自然的問(wèn)題就是：ChatGPT或者未來(lái)即將面世的GPT4，能否取代Google、百度這些傳統(tǒng)搜索引擎呢？個(gè)人覺(jué)得目前應(yīng)該還不行，但是如果從技術(shù)角度稍微改造一下，理論上是可以取代傳統(tǒng)搜索引擎的。

為什么說(shuō)目前形態(tài)ChatGPT還不能取代搜索引擎呢？主要有三點(diǎn)原因：

一、對(duì)于不少知識(shí)類(lèi)型的問(wèn)題，ChatGPT會(huì)給出看上去很有道理，但是事實(shí)上是錯(cuò)誤答案的內(nèi)容，考慮到對(duì)于很多問(wèn)題它又能回答得很好，這將會(huì)給用戶(hù)造成困擾：如果我對(duì)我提的問(wèn)題確實(shí)不知道正確答案，那我是該相信ChatGPT的結(jié)果還是不該相信呢？此時(shí)你是無(wú)法作出判斷的。這個(gè)問(wèn)題可能是比較要命的。

二、ChatGPT目前這種基于GPT大模型基礎(chǔ)上進(jìn)一步增加標(biāo)注數(shù)據(jù)訓(xùn)練的模式，對(duì)于LLM模型吸納新知識(shí)是非常不友好的。新知識(shí)總是在不斷出現(xiàn)，而出現(xiàn)一些新知識(shí)就去重新預(yù)訓(xùn)練GPT模型是不現(xiàn)實(shí)的，無(wú)論是訓(xùn)練時(shí)間成本還是金錢(qián)成本，都不可接受。如果對(duì)于新知識(shí)采取Fine-tune的模式，看上去可行且成本相對(duì)較低，但是很容易產(chǎn)生新數(shù)據(jù)的引入導(dǎo)致對(duì)原有知識(shí)的災(zāi)難遺忘問(wèn)題，尤其是短周期的頻繁fine-tune，會(huì)使這個(gè)問(wèn)題更為嚴(yán)重。所以如何近乎實(shí)時(shí)地將新知識(shí)融入LLM是個(gè)非常有挑戰(zhàn)性的問(wèn)題。

三、ChatGPT或GPT4的訓(xùn)練成本以及在線推理成本太高，導(dǎo)致如果面向真實(shí)搜索引擎的以?xún)|記的用戶(hù)請(qǐng)求，假設(shè)繼續(xù)采取免費(fèi)策略，OpenAI無(wú)法承受，但是如果采取收費(fèi)策略，又會(huì)極大減少用戶(hù)基數(shù)，是否收費(fèi)是個(gè)兩難決策，當(dāng)然如果訓(xùn)練成本能夠大幅下降，則兩難自解。

以上這三個(gè)原因，導(dǎo)致目前ChatGPT應(yīng)該還無(wú)法取代傳統(tǒng)搜索引擎。那么這幾個(gè)問(wèn)題，是否可以解決呢？其實(shí)，如果我們以ChatGPT的技術(shù)路線為主體框架，再吸納其它對(duì)話系統(tǒng)采用的一些現(xiàn)成的技術(shù)手段，來(lái)對(duì)ChatGPT進(jìn)行改造，從技術(shù)角度來(lái)看，除了成本問(wèn)題外的前兩個(gè)技術(shù)問(wèn)題，目前看是可以得到很好地解決。我們只需要在ChatGPT的基礎(chǔ)上，引入sparrow系統(tǒng)以下能力：基于retrieval結(jié)果的生成結(jié)果證據(jù)展示，以及引入LaMDA系統(tǒng)的對(duì)于新知識(shí)采取retrieval模式，那么前面提到的新知識(shí)的及時(shí)引入，以及生成內(nèi)容可信性驗(yàn)證，基本就不是什么大問(wèn)題。

基于以上考慮，在上圖中展示出了我心目中下一代搜索引擎的整體結(jié)構(gòu):它其實(shí)是目前的傳統(tǒng)搜索引擎+ChatGPT的雙引擎結(jié)構(gòu)，ChatGPT模型是主引擎，傳統(tǒng)搜索引擎是輔引擎。

傳統(tǒng)搜索引擎的主要輔助功能有兩個(gè)：一個(gè)是對(duì)于ChatGPT產(chǎn)生的知識(shí)類(lèi)問(wèn)題的回答，進(jìn)行結(jié)果可信性驗(yàn)證與展示，就是說(shuō)在ChatGPT給出答案的同時(shí)，從搜索引擎里找到相關(guān)內(nèi)容片段及url鏈接，同時(shí)把這些內(nèi)容展示給用戶(hù)，使得用戶(hù)可以從額外提供的內(nèi)容里驗(yàn)證答案是否真實(shí)可信，這樣就可以解決ChatGPT產(chǎn)生的回答可信與否的問(wèn)題，避免用戶(hù)對(duì)于產(chǎn)生結(jié)果無(wú)所適從的局面。當(dāng)然，只有知識(shí)類(lèi)問(wèn)題才有必要尋找可信信息進(jìn)行驗(yàn)證，很多其他自由生成類(lèi)型的問(wèn)題，比如讓ChatGPT寫(xiě)一個(gè)滿(mǎn)足某個(gè)主題的小作文這種完全自由發(fā)揮的內(nèi)容，則無(wú)此必要。所以這里還有一個(gè)什么情況下會(huì)調(diào)用傳統(tǒng)搜索引擎的問(wèn)題，具體技術(shù)細(xì)節(jié)完全可仿照sparrow的做法，里面有詳細(xì)的技術(shù)方案。

傳統(tǒng)搜索引擎的第二個(gè)輔助功能是及時(shí)補(bǔ)充新知識(shí)。既然我們不可能隨時(shí)把新知識(shí)快速引入LLM，那么可以把它存到搜索引擎的索引里，ChatGPT如果發(fā)現(xiàn)具備時(shí)效性的問(wèn)題，它自己又回答不了，則可以轉(zhuǎn)向搜索引擎抽取對(duì)應(yīng)的答案，或者根據(jù)返回相關(guān)片段再加上用戶(hù)輸入問(wèn)題通過(guò)ChatGPT產(chǎn)生答案。關(guān)于這方面的具體技術(shù)手段，可以參考LaMDA，其中有關(guān)于新知識(shí)處理的具體方法。

除了上面的幾種技術(shù)手段，我覺(jué)得相對(duì)ChatGPT只有一個(gè)綜合的Reward Model，sparrow里把答案helpful相關(guān)的標(biāo)準(zhǔn)（比如是否富含信息量、是否合乎邏輯等）采用一個(gè)RM，其它類(lèi)型toxic/harmful相關(guān)標(biāo)準(zhǔn)（比如是否有bias、是否有害信息等）另外單獨(dú)采用一個(gè)RM，各司其職，這種模式要更清晰合理一些。因?yàn)閱我活?lèi)型的標(biāo)準(zhǔn)，更便于標(biāo)注人員進(jìn)行判斷，而如果一個(gè)Reward Model融合多種判斷標(biāo)準(zhǔn)，相互打架在所難免，判斷起來(lái)就很復(fù)雜效率也低，所以感覺(jué)可以引入到ChatGPT里來(lái)，得到進(jìn)一步的模型改進(jìn)。

通過(guò)吸取各種現(xiàn)有技術(shù)所長(zhǎng)，我相信大致可以解決ChatGPT目前所面臨的問(wèn)題，技術(shù)都是現(xiàn)成的，從產(chǎn)生內(nèi)容效果質(zhì)量上取代現(xiàn)有搜索引擎問(wèn)題不大。當(dāng)然，至于模型訓(xùn)練成本和推理成本問(wèn)題，可能短時(shí)期內(nèi)無(wú)法獲得快速大幅降低，這可能是決定LLM是否能夠取代現(xiàn)有搜索引擎的關(guān)鍵技術(shù)瓶頸。

從形式上來(lái)看，未來(lái)的搜索引擎大概率是以用戶(hù)智能助手APP的形式存在的，但是，從短期可行性上來(lái)說(shuō)，在走到最終形態(tài)之前，過(guò)渡階段大概率兩個(gè)引擎的作用是反過(guò)來(lái)的，就是傳統(tǒng)搜索引擎是主引擎，ChatGPT是輔引擎，形式上還是目前搜索引擎的形態(tài)，只是部分搜索內(nèi)容Top 1的搜索結(jié)果是由ChatGPT產(chǎn)生的，大多數(shù)用戶(hù)請(qǐng)求，可能在用戶(hù)看到Top 1結(jié)果就能滿(mǎn)足需求，對(duì)于少數(shù)滿(mǎn)足不了的需求，用戶(hù)可以采用目前搜索引擎翻頁(yè)搜尋的模式。

搜索引擎未來(lái)大概率會(huì)以這種過(guò)渡階段以傳統(tǒng)搜索引擎為主，ChatGPT這種instruct-based生成模型為輔，慢慢切換到以ChatGPT生成內(nèi)容為主，而這個(gè)切換節(jié)點(diǎn)，很可能取決于大模型訓(xùn)練成本的大幅下降的時(shí)間，以此作為轉(zhuǎn)換節(jié)點(diǎn)。

藍(lán)海大腦ChatGPT深度學(xué)習(xí)一體機(jī)采用 Intel 、AMD處理器，突破傳統(tǒng)風(fēng)冷散熱模式，采用風(fēng)冷和液冷混合散熱模式——服務(wù)器內(nèi)主要熱源 CPU 利用液冷冷板進(jìn)行冷卻，其余熱源仍采用風(fēng)冷方式進(jìn)行冷卻。通過(guò)這種混合制冷方式，可大幅提升服務(wù)器散熱效率，同時(shí)，降低主要熱源 CPU 散熱所耗電能，并增強(qiáng)服務(wù)器可靠性；支持VR、AI加速計(jì)算；深受廣大深度學(xué)習(xí)ChatGPT領(lǐng)域工作者的喜愛(ài)。

審核編輯 黃昊宇