你是否想過(guò)，為什么ChatGPT能夠如此火爆呢？我認(rèn)為這主要是因?yàn)镃hatGPT提供了好玩、有用的對(duì)話式交互功能，能夠?yàn)橛脩籼峁椭粌H僅是依靠“大”模型的魅力。畢竟，GPT-3在2020年就已經(jīng)推出了，擁有175B的參數(shù)規(guī)模，但除了最初的熱度之外，它并沒(méi)有引起社會(huì)太多的關(guān)注。

那么，究竟是什么讓ChatGPT能夠生成相對(duì)客觀且富有信息量的回答呢？研究者們基于預(yù)訓(xùn)練好的大規(guī)模語(yǔ)言模型，采用了多種調(diào)教手段，主要包括指令調(diào)整和基于人類(lèi)反饋的對(duì)齊調(diào)整。這些調(diào)整手段的運(yùn)用，使得ChatGPT的交互表現(xiàn)更為出色。本文基于人民大學(xué)團(tuán)隊(duì)一篇的綜述論文，給大家簡(jiǎn)要介紹一下大模型的調(diào)教攻略。

指令調(diào)整

指令調(diào)整（Instruction Tuning）將多種任務(wù)轉(zhuǎn)化成自然語(yǔ)言表述的形式，再通過(guò)seq2seq的監(jiān)督學(xué)習(xí)+多任務(wù)學(xué)習(xí)的方式調(diào)整大規(guī)模語(yǔ)言模型的參數(shù)。經(jīng)驗(yàn)表明，指令調(diào)整可以讓大模型更好地執(zhí)行指令，并提高跨任務(wù)與跨語(yǔ)言的泛化能力，并且可以緩解大模型輸出重復(fù)內(nèi)容以及補(bǔ)全輸入而非完成任務(wù)的問(wèn)題。

上圖展示了指令精調(diào)的數(shù)據(jù)樣例，通常包括一個(gè)任務(wù)描述，一組可選的展示樣例，以及一組輸入輸出。模型在訓(xùn)練時(shí)，利用輸出內(nèi)容，進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn)練。

指令調(diào)整的數(shù)據(jù)主要有兩個(gè)來(lái)源。一為上圖左側(cè)，根據(jù)現(xiàn)有的數(shù)據(jù)集進(jìn)行改寫(xiě)構(gòu)建。其中，主要涉及通過(guò)眾包平臺(tái)構(gòu)建不同的任務(wù)描述，有些工作用啟發(fā)式模板構(gòu)建數(shù)據(jù)，還有工作提出通過(guò)顛倒輸入輸出的方式擴(kuò)充數(shù)據(jù)。

第二個(gè)來(lái)源為上圖右側(cè)，基于人類(lèi)需求構(gòu)建指令調(diào)整數(shù)據(jù)。InstructGPT提出利用人類(lèi)在OpenAI API中輸入的數(shù)據(jù)作為任務(wù)描述，以提高指令的多樣性，更好滿足真實(shí)需求。過(guò)程中涉及收集用戶query，讓標(biāo)注者再計(jì)一些query，讓標(biāo)注者寫(xiě)出query的回復(fù)作為訓(xùn)練目標(biāo)。GPT-4還額外構(gòu)建高風(fēng)險(xiǎn)query來(lái)讓模型學(xué)習(xí)“拒絕回復(fù)”。第二類(lèi)數(shù)據(jù)在后面的對(duì)齊調(diào)整中也用到了。

在指令調(diào)整過(guò)程中，任務(wù)的數(shù)量和多樣性對(duì)跨任務(wù)泛化能力很重要。多樣性可以體現(xiàn)在長(zhǎng)度、結(jié)構(gòu)、創(chuàng)造性等多個(gè)方面。而每個(gè)任務(wù)所需的樣本無(wú)需過(guò)多。

引入展示樣本可以提高模型表現(xiàn)，降低模型對(duì)指令表述過(guò)度的敏感其他的prompt內(nèi)容會(huì)帶來(lái)負(fù)面影響。在展示樣本中，包含類(lèi)似代數(shù)運(yùn)算等思維鏈（Chain of Thought）的內(nèi)容可以有效提升模型多步推理能力，對(duì)其他任務(wù)也有好處。

指令調(diào)整中需要注意任務(wù)間的樣本數(shù)量均衡問(wèn)題，不能簡(jiǎn)單地按照任務(wù)數(shù)據(jù)集規(guī)模合并。增加高質(zhì)量數(shù)據(jù)集的采樣比例可以提升表現(xiàn)。不過(guò)，一般單一數(shù)據(jù)集樣本量會(huì)設(shè)置一個(gè)上限，一般在幾千到幾萬(wàn)的范圍。

OPT-IML提出在指令調(diào)整中引入部分預(yù)訓(xùn)練樣本作為正則，來(lái)提高穩(wěn)定性；GLM-130B 和 Galactica 在語(yǔ)言模型訓(xùn)練過(guò)程中引入了少許指令調(diào)整數(shù)據(jù)。

對(duì)齊調(diào)整

語(yǔ)言模型預(yù)訓(xùn)練預(yù)指令調(diào)整主要是提高模型建模語(yǔ)言，完成特定任務(wù)的能力。然而，對(duì)于ChatGPT這類(lèi)“對(duì)話產(chǎn)品”而言，還需要通過(guò)對(duì)齊調(diào)整（Alignment Tuning）來(lái)讓模型同人類(lèi)的價(jià)值觀對(duì)齊，從而生成“更令人滿意”的回復(fù)內(nèi)容。

對(duì)齊調(diào)整的主要?jiǎng)訖C(jī)是，有害的、誤導(dǎo)的和有偏見(jiàn)的表述會(huì)嚴(yán)重影響人們主觀的評(píng)價(jià)。即使這種調(diào)整客觀上會(huì)損害大模型的能力，但可以極大地提升用戶體驗(yàn)。大體上有三個(gè)需要調(diào)整的方向：

1.有幫助的：模型生成的內(nèi)容應(yīng)當(dāng)是簡(jiǎn)介有執(zhí)行力的，能夠提供額外的信息并展現(xiàn)出模型的敏感、審慎和洞察力。2.忠誠(chéng)的：模型不應(yīng)該捏造事實(shí)，并且適當(dāng)?shù)貢r(shí)候表達(dá)不確定性。3.無(wú)害的：模型避免生成冒犯的、歧視性的內(nèi)容，并且拒絕一些惡意請(qǐng)求。

用于對(duì)齊調(diào)整的標(biāo)注數(shù)據(jù)有多種形式，例如排序若干候選；成對(duì)比較；回答既定的問(wèn)題以從多個(gè)角度評(píng)價(jià)等。GPT-4還利用了基于自身的零監(jiān)督分類(lèi)器。

而在標(biāo)注者質(zhì)量篩選方面，除了母語(yǔ)、學(xué)歷、標(biāo)注平臺(tái)（如AMT）上等級(jí)之外，研究者還利用標(biāo)注者之間的內(nèi)在一致性、標(biāo)注者與研究者的標(biāo)注一致性等信息來(lái)對(duì)標(biāo)注者做篩選。

基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)算法（RLHF）利用標(biāo)注數(shù)據(jù)，基于強(qiáng)化學(xué)習(xí)PPO（Proximal Policy Optimization），調(diào)整大模型。上圖顯示了RLHF進(jìn)行對(duì)齊調(diào)整的過(guò)程，具體包含三個(gè)步驟：

第一步是基于人類(lèi)標(biāo)注數(shù)據(jù)做有監(jiān)督精調(diào)。這一步和指令調(diào)整差不多，不過(guò)用的數(shù)據(jù)都是人類(lèi)標(biāo)注的，內(nèi)容也更自由一些，比如開(kāi)放式問(wèn)答，閑聊，頭腦風(fēng)暴，改寫(xiě)等。這一步并非必須，可以認(rèn)為是針對(duì)強(qiáng)化學(xué)習(xí)的冷啟動(dòng)問(wèn)題的預(yù)熱。

第二步是基于人類(lèi)反饋訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型（Reward Model）。比如InstructGPT中基于標(biāo)注數(shù)據(jù)訓(xùn)練了一個(gè)排序模型。獎(jiǎng)勵(lì)模型將在第三部強(qiáng)化學(xué)習(xí)中提供反饋信號(hào)。獎(jiǎng)勵(lì)模型一般是一個(gè)較小的大語(yǔ)言模型，例如InstructGPT基于175B參數(shù)的GPT-3做調(diào)整，獎(jiǎng)勵(lì)模型采用6B的GPT3；GopherCite基于280B參數(shù)的Gopher做調(diào)整，獎(jiǎng)勵(lì)模型采用7B的Gopher。

第三步是強(qiáng)化學(xué)習(xí)優(yōu)化的過(guò)程。待優(yōu)化的大語(yǔ)言模型的動(dòng)作域（action space）是預(yù)測(cè)詞表，狀態(tài)為當(dāng)前生成的內(nèi)容，并將獎(jiǎng)勵(lì)模型的反饋信號(hào)通過(guò)PPO算法傳給大語(yǔ)言模型做優(yōu)化。對(duì)了避免強(qiáng)化學(xué)習(xí)跑偏，InstructGPT還采用了優(yōu)化后的模型與原模型生成內(nèi)容的KL距離作為正則項(xiàng)。

結(jié)束語(yǔ)

雖然從頭訓(xùn)練一個(gè)大模型可能對(duì)絕大多數(shù)研究者而言是一種奢望，但在現(xiàn)有的開(kāi)源資料基礎(chǔ)之上，對(duì)特定的任務(wù)或領(lǐng)域進(jìn)行調(diào)教個(gè)人專(zhuān)屬的大模型并非遙不可及。

編輯：黃飛

?