性能評估

因?yàn)槟Ｐ褪歉鶕?jù)人工標(biāo)注的輸入進(jìn)行訓(xùn)練的，所以評估的核心部分也基于人工輸入，即通過讓標(biāo)注者對模型輸出的質(zhì)量評分來進(jìn)行。為避免訓(xùn)練階段涉及的標(biāo)注者的判斷過擬合，測試集使用了來自其它 OpenAI 客戶的 prompt，這些 prompt 未出現(xiàn)在訓(xùn)練數(shù)據(jù)中。

該模型基于三個(gè)標(biāo)準(zhǔn)進(jìn)行評估：

• 幫助性：判斷模型遵循用戶指示以及推斷指示的能力。
• 真實(shí)性：判斷模型在封閉領(lǐng)域任務(wù)中有產(chǎn)生虛構(gòu)事實(shí)的傾向。
• 無害性：標(biāo)注者評估模型的輸出是否適當(dāng)、是否包含歧視性內(nèi)容。

該模型還針對傳統(tǒng) NLP 任務(wù)（如解答問題、閱讀理解和摘要）的零樣本學(xué)習(xí)的性能進(jìn)行了評估，開發(fā)人員發(fā)現(xiàn)在其中一些任務(wù)上模型的表現(xiàn)比 GPT-3 要差一些，這是一個(gè)「一致性稅」( alignment tax) 的例子，其中基于 人類反饋強(qiáng)化學(xué)習(xí)的一致性程序是以降低某些任務(wù)的性能為代價(jià)的。

這些數(shù)據(jù)集的性能回歸可以通過稱為預(yù)訓(xùn)練混合的技巧大大減少：在通過梯度下降訓(xùn)練 PPO 模型期間，通過混合 SFT 模型和 PPO 模型的梯度來計(jì)算梯度更新。

方法的缺點(diǎn)

該方法的一個(gè)非常明顯的局限性是，在將語言模型與人類意圖保持一致的過程中，用于 fine-tuning 模型的數(shù)據(jù)會受到各種錯(cuò)綜復(fù)雜的主觀因素的影響，主要包括：

• 生成 demo 數(shù)據(jù)的人工標(biāo)注者的偏好；
• 設(shè)計(jì)研究和編寫標(biāo)簽說明的研究人員；
• 選擇由開發(fā)人員制作或由 OpenAI 客戶提供的 prompt；
• 標(biāo)注者偏差既包含在 RM 模型訓(xùn)練中，也包含在模型評估中。

ChatGPT 的作者也承認(rèn)一個(gè)明顯的事實(shí)，即參與訓(xùn)練過程的標(biāo)注人員和研究人員可能并不能完全代表語言模型的所有潛在最終用戶。

除了這一明顯的「內(nèi)生」限制之外，該方法還有的一些其它缺點(diǎn)和需要解決的問題：

• 缺乏對照研究：報(bào)告的結(jié)果以 SFT 模型為基準(zhǔn)衡量最終 PPO 模型的性能。這可能會產(chǎn)生誤導(dǎo)：如何知道這些改進(jìn)是由于 RLHF？因此對照研究非常有必要，包括投入與用于訓(xùn)練 RM 模型的標(biāo)注工時(shí)數(shù)完全相同的時(shí)間，以創(chuàng)建具有高質(zhì)量數(shù)據(jù)的更大的精選有監(jiān)督調(diào)優(yōu)的數(shù)據(jù)集。這樣就可以客觀地衡量 RLHF 方法與監(jiān)督方法相比的性能改進(jìn)。簡單來說，缺乏這樣的對照研究讓一個(gè)基本問題完全懸而未決：RLHF 在一致性語言模型方面真的做得很好嗎？
• 比較數(shù)據(jù)缺乏基本事實(shí)：標(biāo)注者通常會對模型輸出的排名持不同意見。技術(shù)上講，產(chǎn)生的風(fēng)險(xiǎn)是在沒有任何基本事實(shí)的情況下，向比較數(shù)據(jù)添加了很大的方差。
• 人類的偏好并非同質(zhì)：RLHF 方法將人類的偏好視為同質(zhì)和靜態(tài)的。假設(shè)所有人都有相同的價(jià)值觀，這明顯是不準(zhǔn)確的，雖然有大量的公共價(jià)值觀，但在很多事務(wù)上人類還是存在許多不同的認(rèn)知。
• RM 模型 prompt 穩(wěn)定性測試：沒有實(shí)驗(yàn)表明 RM 模型在輸入 prompt 變化方面的敏感性。如果兩個(gè) prompt 在句法上不同但在語義上是等價(jià)的，RM 模型能否在模型輸出的排名中顯示出顯著差異？即 prompt 的質(zhì)量對 RM 有多重要？
• 其它問題：在 RL 方法中，模型有時(shí)可以學(xué)會控制自己的 RM 模型以實(shí)現(xiàn)期望的結(jié)果，從而導(dǎo)致「過度優(yōu)化的策略」。這可能會導(dǎo)致模型重新創(chuàng)建一些模式，因?yàn)槟承┪粗脑?，這些模式使 RM 模型得分較高。ChatGPT 通過使用 RM 函數(shù)中的 KL 懲罰項(xiàng)對此進(jìn)行了修補(bǔ)。