前 言 OpenAI這家公司又放大招了，繼發(fā)布GPT、GPT2和GPT3模型后，本月初發(fā)布了ChatGPT模型【也被稱為GPT3.5】，結(jié)合大家的測(cè)試效果來(lái)看，該模型效果確實(shí)很震撼，在人工智能圈子引起了不小的轟動(dòng)。在AI發(fā)展相對(duì)處于低谷期的今天，如此震撼的模型發(fā)布出來(lái)，確實(shí)為該行業(yè)帶來(lái)一陣暖風(fēng)，本文就詳細(xì)解讀一下該模型。

　　在“人工標(biāo)注數(shù)據(jù)+強(qiáng)化學(xué)習(xí)”框架下，具體而言，InstructGPT的訓(xùn)練過(guò)程分為以下三個(gè)階段：

　　第一階段：冷啟動(dòng)階段的監(jiān)督策略模型

　　靠GPT 3本身，盡管它很強(qiáng)，但是它很難理解人類不同類型指令中蘊(yùn)含的不同意圖，也很難判斷生成內(nèi)容是否是高質(zhì)量的結(jié)果。為了讓GPT 3初步具備理解指令中蘊(yùn)含的意圖，首先會(huì)從測(cè)試用戶提交的prompt（就是指令或問(wèn)題）中隨機(jī)抽取一批，靠專業(yè)的標(biāo)注人員，給出指定prompt的高質(zhì)量答案，然后用這些人工標(biāo)注好的數(shù)據(jù)來(lái)Fine-tune GPT 3模型。經(jīng)過(guò)這個(gè)過(guò)程，我們可以認(rèn)為 GPT 3初步具備了理解人類prompt中所包含意圖，并根據(jù)這個(gè)意圖給出相對(duì)高質(zhì)量回答的能力，但是很明顯，僅僅這樣做是不夠的。

　　第二階段：訓(xùn)練回報(bào)模型（RewardModel，RM）

　　這個(gè)階段的主要目的是通過(guò)人工標(biāo)注訓(xùn)練數(shù)據(jù)，來(lái)訓(xùn)練回報(bào)模型。具體而言，隨機(jī)抽樣一批用戶提交的prompt（大部分和第一階段的相同），使用第一階段Fine-tune好的冷啟動(dòng)模型，對(duì)于每個(gè)prompt，由冷啟動(dòng)模型生成K個(gè)不同的回答，于是模型產(chǎn)生出了，…。數(shù)據(jù)。之后，標(biāo)注人員對(duì)K個(gè)結(jié)果按照很多標(biāo)準(zhǔn)（上面提到的相關(guān)性、富含信息性、有害信息等諸多標(biāo)準(zhǔn)）綜合考慮進(jìn)行排序，給出K個(gè)結(jié)果的排名順序，這就是此階段人工標(biāo)注的數(shù)據(jù)。接下來(lái)，我們準(zhǔn)備利用這個(gè)排序結(jié)果數(shù)據(jù)來(lái)訓(xùn)練回報(bào)模型，采取的訓(xùn)練模式其實(shí)就是平常經(jīng)常用到的pair-wiselearning to rank。對(duì)于K個(gè)排序結(jié)果，兩兩組合，形成 （ k 2 ） \binom{k}{2} （2k） 個(gè)訓(xùn)練數(shù)據(jù)對(duì)，ChatGPT采取pair-wiseloss來(lái)訓(xùn)練Reward Model。RM模型接受一個(gè)輸入，給出評(píng)價(jià)回答質(zhì)量高低的回報(bào)分?jǐn)?shù)Score。對(duì)于一對(duì)訓(xùn)練數(shù)據(jù)，我們假設(shè)人工排序中answer1排在answer2前面，那么Loss函數(shù)則鼓勵(lì)RM模型對(duì)的打分要比 的打分要高。歸納下：在這個(gè)階段里，首先由冷啟動(dòng)后的監(jiān)督策略模型為每個(gè)prompt產(chǎn)生K個(gè)結(jié)果，人工根據(jù)結(jié)果質(zhì)量由高到低排序，以此作為訓(xùn)練數(shù)據(jù)，通過(guò)pair-wiselearning to rank模式來(lái)訓(xùn)練回報(bào)模型。對(duì)于學(xué)好的RM模型來(lái)說(shuō)，輸入，輸出結(jié)果的質(zhì)量得分，得分越高說(shuō)明產(chǎn)生的回答質(zhì)量越高。