上個(gè)月，OpenAI 發(fā)布其最新語(yǔ)言模型——GPT-2，但因?yàn)閾?dān)心它可能被用來(lái)制造大量偽造和虛假的信息，頗為戲劇性地決定不開(kāi)源該模型。

這一決定也使得 AI 社區(qū)開(kāi)始討論：如何檢測(cè)這類虛假新聞。

在一項(xiàng)新實(shí)驗(yàn)中，來(lái)自麻省理工學(xué)院-IBM Watson 人工智能實(shí)驗(yàn)室和哈佛大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室的研究人員思考，能夠生成如此逼真的文本的語(yǔ)言模型，是否可以用來(lái)檢測(cè)其他語(yǔ)言模型生成的文本的真假。

圖 丨 OpenAI GPT-2 生成的假新聞。（來(lái)源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

這個(gè)假設(shè)背后的想法很簡(jiǎn)單：語(yǔ)言模型通過(guò)不斷預(yù)測(cè)單詞序列中的下一個(gè)概率最大的單詞來(lái)產(chǎn)生句子。因此，如果某個(gè)語(yǔ)言模型能夠輕松地預(yù)測(cè)某一段落中的大部分詞語(yǔ)，那這段文本很可能就是這個(gè)語(yǔ)言模型生成的。

研究人員通過(guò)構(gòu)建基于 OpenAI GPT-2 開(kāi)源的小模型的交互式工具來(lái)測(cè)試他們的想法。當(dāng)為該工具提供一段文字時(shí)，它會(huì)讓每個(gè)單詞高亮不同的顏色，從綠色到黃色到紅色，表示預(yù)測(cè)幾率逐漸下降；如果語(yǔ)言模型根本沒(méi)有預(yù)測(cè)出某一單詞，它會(huì)用紫色高亮該單詞。所以從理論上講，紅色和紫色詞的越多，該文本由人類書(shū)寫(xiě)的概率就越大；如果綠色和黃色詞的份額越大，該文本由語(yǔ)言模型生成的概率就越大。

圖 丨 OpenAI GPT-2 小模型生成的文本。（來(lái)源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

事實(shí)上，研究人員發(fā)現(xiàn)，GPT-2 的小模型和完整版本的模型所寫(xiě)的段落幾乎完全是綠色和黃色，而人類寫(xiě)的科學(xué)文摘和美國(guó)入學(xué)標(biāo)準(zhǔn)化測(cè)試中閱讀理解段落中的文字有很多紅色和紫色。

圖 丨 美國(guó)入學(xué)標(biāo)準(zhǔn)化測(cè)試中的閱讀理解短文，由人類書(shū)寫(xiě)。（來(lái)源：HENDRIK STROBELT AND SEBASTIAN GEHRMANN）

但事情沒(méi)有想象中的簡(jiǎn)單。Janelle Shane 是一位負(fù)責(zé)運(yùn)營(yíng)“Letting Neural Networks Be Weird“博客的研究員，她并未參與前文所述的研究。她將該工具用于更嚴(yán)格的測(cè)試，不僅僅提供 GPT-2 生成的文本，還提供了由其他語(yǔ)言模型生成的文本，包括一個(gè)用亞馬遜評(píng)論訓(xùn)練的模型和一個(gè)用《龍與地下城》語(yǔ)料訓(xùn)練的模型。

她發(fā)現(xiàn)，這個(gè)工具無(wú)法預(yù)測(cè)每個(gè)段落中的大部分單詞，因此該工具認(rèn)為這些文本是人類寫(xiě)的。這說(shuō)明一個(gè)重要觀點(diǎn)：語(yǔ)言模型可能擅長(zhǎng)檢測(cè)自己的輸出，但不一定擅長(zhǎng)檢測(cè)其他語(yǔ)言模型的輸出。

看來(lái)，人類打擊互聯(lián)網(wǎng)假新聞還是任重道遠(yuǎn)啊。