ChatGPT \text{ChatGPT} ChatGPT火了！作為開(kāi)放域?qū)υ捪到y(tǒng)， ChatGPT \text{ChatGPT} ChatGPT展示出了出乎意料的智能。在人們驚訝 ChatGPT \text{ChatGPT} ChatGPT效果的同時(shí)，其“胡編亂造”的結(jié)果也讓人擔(dān)憂。

　　ChatGPT \text{ChatGPT} ChatGPT到底“只是”一個(gè)閑聊系統(tǒng)，還是意味著新的變革？如果只從使用者的角度分析，顯然無(wú)法回答這個(gè)問(wèn)題。不妨從“技術(shù)”的角度看看， ChatGPT\text{ChatGPT} ChatGPT到底是現(xiàn)有技術(shù)的極限還是新技術(shù)的起點(diǎn)？

　　訓(xùn)練大語(yǔ)言模型 （Large Language Model，LLM） \text{（Large Language Model，LLM）} （Large Language Model，LLM）通常是用上下文來(lái)預(yù)測(cè)部分token，而在使用 LLM\text{LLM} LLM時(shí)卻希望其能夠生成誠(chéng)實(shí)的、無(wú)毒性的且對(duì)用戶(hù)有幫助的內(nèi)容。顯然，語(yǔ)言模型并沒(méi)有與用戶(hù)的意圖對(duì)齊。 InstructGPT\text{InstructGPT}InstructGPT的目標(biāo)是通過(guò)人類(lèi)的反饋微調(diào)語(yǔ)言模型，令語(yǔ)言模型與用戶(hù)意圖對(duì)齊。（通過(guò)基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)，引導(dǎo)出大模型的能力）。