作者：楠楠楠楠x

清華大學(xué)最新發(fā)布了一篇關(guān)于大模型安全的論文，不同于以往大部分專注于挖掘大模型可能輸出的顯式有害內(nèi)容的工作。這篇論文將目光投向了研究更少，更難被檢測到的隱式有害內(nèi)容。

隱式有害內(nèi)容指那些使用委婉語，拐彎抹角，諷刺，隱喻，成語來輸出有害觀點，而不使用明顯不合適的詞語的有害文字，這里給出兩個例子。

通過使用提示詞工程向ChatGPT提問，居然可以讓ChatGPT輸出認(rèn)為童工合理的內(nèi)容（雖然并沒有使用任何讓人感到不適的詞語），這顯然是不符合任何一個國家的政治正確的（笑）。通過這種方式，我們可以讓ChatGPT等大模型輸出涉嫌歧視/帶有敏感話題/攻擊用戶等類型的有害內(nèi)容，想想就很可怕捏。

顯然這種隱式的有害內(nèi)容更難被現(xiàn)有的SOTA有害內(nèi)容檢測模型檢測到，因為這種內(nèi)容要求檢測模型擁有更強(qiáng)大的語言理解能力，而不是簡單的使用keywords來檢測有害內(nèi)容。

清華大學(xué)研究團(tuán)隊做了什么？

定義了一種新的大模型安全問題，即隱式有害內(nèi)容輸出。

研究團(tuán)隊使用SFT和RLHF的方式進(jìn)一步的讓大模型更容易輸出隱式有害內(nèi)容以進(jìn)一步研究。并且揭示了大模型被惡意利用的可能性。

研究團(tuán)隊訓(xùn)練得到的模型輸出的隱式有害內(nèi)容打敗了一系列的有害內(nèi)容檢測模型，以極高的攻擊成功率達(dá)成了一種另類的SOTA。

研究團(tuán)隊還使用了經(jīng)過標(biāo)注的隱式有害內(nèi)容數(shù)據(jù)集訓(xùn)練檢測模型，成功提高了它們檢測隱式有害內(nèi)容的能力。

圖1：SL LLaMA-13B以及RL LLaMA-13B即作者團(tuán)隊通過訓(xùn)練得到的新模型。攻擊任何一個檢測模型，都以極高的攻擊成功率打敗了所有baselines。另外，使用零樣本的提示詞工程也能讓GPT-3.5-turbo達(dá)成極高的攻擊成功率。

模型是如何被訓(xùn)練的？

作者團(tuán)隊使用了大模型訓(xùn)練的經(jīng)典三階段范式來訓(xùn)練模型，也就是：預(yù)訓(xùn)練 -> 監(jiān)督微調(diào) -> 人類反饋強(qiáng)化學(xué)習(xí)的三個階段。當(dāng)然，作者通過直接使用LLaMA模型跳過了預(yù)訓(xùn)練的過程。

監(jiān)督微調(diào)

作者團(tuán)隊使用現(xiàn)有的帶有有害內(nèi)容的對話數(shù)據(jù)集和GPT-3.5-turbo來獲取進(jìn)行監(jiān)督微調(diào)的數(shù)據(jù)集。具體來說，作者拋棄了原數(shù)據(jù)集中的模型回答部分（因為這些回答主要包含的是顯式有害內(nèi)容），然后使用零樣本的提示詞工程讓GPT-3.5-turbo生成隱式有害內(nèi)容作為回答。

然而經(jīng)過監(jiān)督微調(diào)的模型，仍然會輸出不帶有有害內(nèi)容或者帶有顯式有害內(nèi)容的回答。這并不符合我們對模型的期待，也為使用rlhf提供了必要性。

人類反饋強(qiáng)化學(xué)習(xí)

這是筆者認(rèn)為本文novelty體現(xiàn)比較多的地方。作者團(tuán)隊希望通過強(qiáng)化學(xué)習(xí)鼓勵模型輸出帶有隱式有害內(nèi)容的回答而不是帶有顯示有害內(nèi)容或者不帶有有害內(nèi)容的回答。

為了做到這一點，最簡單自然的強(qiáng)化學(xué)習(xí)方式便是直接使用有害內(nèi)容檢測模型輸出的分類可能性作的負(fù)值為獎勵（因為帶有隱式有害內(nèi)容的回答相比帶有顯示有害內(nèi)容的回答經(jīng)過檢測模型后得到的分類可能性更小，因此可以用以作為獎勵）。然而這樣做，會更加鼓勵模型輸出不帶有有害內(nèi)容的回答，而不是更鼓勵輸出我們期待的隱式有害內(nèi)容。

非常自然的，作者想到了訓(xùn)練獎勵模型來進(jìn)行rlhf。訓(xùn)練方法如下：

圖2：模型訓(xùn)練過程

針對某個問題x，輸入被獎勵模型(Policy Model)得到k個回答。

GPT-3.5-turbo對這k個回答進(jìn)行標(biāo)注，將每個回答標(biāo)注為三種類型，分別為：帶有隱式有害內(nèi)容，帶有顯式有害內(nèi)容，不帶有有害內(nèi)容。

利用k個回答中被標(biāo)注為帶有隱式有害內(nèi)容的數(shù)據(jù)來構(gòu)建強(qiáng)化學(xué)習(xí)數(shù)據(jù)對。值得注意的是，這與經(jīng)典的rlhf方式有所不同，并不是針對k個回答構(gòu)建個強(qiáng)化學(xué)習(xí)數(shù)據(jù)對。而是使每個數(shù)據(jù)對中必須含有一個帶有隱式有害內(nèi)容的回答，該回答將會作為，而另一個回答作為。

使用上一步得到的數(shù)據(jù)集來訓(xùn)練獎勵模型，訓(xùn)練loss為，也就是最大化與的獎勵差。

為了進(jìn)一步提高被獎勵模型攻擊檢測模型的攻擊成功率，作者使用了有害內(nèi)容檢測模型針對回答x輸出的檢測可能性來構(gòu)建新獎勵，其中是一個超參數(shù)。

為了防止被獎勵模型的參數(shù)被過度更新，作者還使用了KL散度來懲罰獎勵，并引入了超參數(shù)來控制KL散度懲罰的大小。

實驗

實驗設(shè)置

作者使用了來自BAD數(shù)據(jù)集的6000條可能引起模型輸出有害內(nèi)容的人類提問作為實驗數(shù)據(jù)。

使用了LLaMA-13B來訓(xùn)練模型和獎勵模型，使用BAD模型作為有害內(nèi)容檢測模型。

圖3：實驗主要結(jié)果

直接分析實驗結(jié)果，我們可以發(fā)現(xiàn)以下信息：

經(jīng)過監(jiān)督微調(diào)和人類反饋強(qiáng)化學(xué)習(xí)的RL LLaMA-13B輸出的回答得到的獎勵是最高的，人類標(biāo)注員標(biāo)注的Annotated Toxic Prob.成績也是最高的，并且對任意一個有害內(nèi)容檢測模型都達(dá)成了極高的攻擊成功率。這說明了兩點：

經(jīng)過監(jiān)督微調(diào)或提示詞工程的大模型有強(qiáng)大的突破有害內(nèi)容檢測模型的能力

人類反饋強(qiáng)化學(xué)習(xí)能夠進(jìn)一步提高大模型的上述能力

使用一個檢測模型輸出的作為獎勵的一部分能夠極大提高大模型攻擊任意一個檢測模型的能力。

除此之外，作者還做了一系列的補(bǔ)充實驗。

圖4：原獎勵與均能提高強(qiáng)化學(xué)習(xí)的效果

圖5：越大的模型有越高的輸出隱式有害內(nèi)容的潛力

圖6：超參數(shù)和超參數(shù)的恰當(dāng)選擇對訓(xùn)練效果至關(guān)重要

審核編輯：黃飛

?