還記得權(quán)力的游戲第八季么? Jon Snow也加入了千萬罵編劇的粉絲的陣營，并且因此向粉絲道歉。

這個(gè)視頻當(dāng)然是假的，他嘴巴的移動(dòng)方式看起來就很奇怪。

這是一個(gè)DeepFake生成的視頻，一個(gè)用來娛樂或欺騙大眾人工智能產(chǎn)物。

之前文摘菌也報(bào)道過，這項(xiàng)技術(shù)的上線后就廣受詬病，后來又有一個(gè)小團(tuán)隊(duì)開發(fā)出一款新的應(yīng)用DeepNude，可以一鍵實(shí)現(xiàn)脫衣，之后也因?yàn)榉错憪毫佣黄认录堋?/p>

人們對于無法分辨真假的恐懼是合理的，畢竟這種技術(shù)的出現(xiàn)將會(huì)滋生出許多想象不到的新的犯罪手段的誕生。

最近，南加州大學(xué)信息科學(xué)研究所計(jì)算機(jī)的研究人員發(fā)表一篇論文，研究通過訓(xùn)練AI尋找視頻畫面中的不一致性來檢測AI生成的假視頻，論文同時(shí)也被提交到CVPR 2019。

用AI對抗AI，來看看如何實(shí)現(xiàn)

對于偽造生成的假視頻，研究人員發(fā)現(xiàn)，用于生成虛假視頻的主流AI模型（以及其他方法，如2016年的Face2Face程序），都是通過逐幀修改視頻且并不注意時(shí)間的連貫性。這會(huì)使得生成視頻中的人物移動(dòng)看起來非常笨拙，人們通常會(huì)注意到這類奇怪的動(dòng)作。

為了實(shí)現(xiàn)找出奇怪動(dòng)作這一過程的自動(dòng)化，研究人員首先要訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)—這種人工智能程序以個(gè)人的海量視頻為基礎(chǔ)，可以用來“學(xué)習(xí)”人類在說話時(shí)如何移動(dòng)的重要特征。

然后，研究人員使用這些參數(shù)將偽造視頻的堆疊幀輸入AI模型，以檢測視頻隨時(shí)間的不一致性。根據(jù)該論文，這種方法可以判斷“AI偽造視頻”，準(zhǔn)確率超過90％。

研究人員使用的模型是一個(gè)遞歸卷積模型（Recurrent convolutional model），這個(gè)深度學(xué)習(xí)模型能夠很好的提取到視頻中的信息。

整個(gè)過程分為兩步：

將視頻中的人臉進(jìn)行裁剪對齊

對于獲取人臉區(qū)域，研究人員使用由FaceForensics++提供的模型。

論文鏈接：

https://arxiv.org/abs/1901.08971

研究人員嘗試了兩種人臉對齊技術(shù)的結(jié)合:

顯式使用面部坐標(biāo)對齊,在參考坐標(biāo)系中，人的面部是先天決定的,所有的面孔是使用同一個(gè)參考坐標(biāo)系；

隱式排列對齊,使用STN。

在后一種情況下，網(wǎng)絡(luò)根據(jù)輸入圖像預(yù)測對齊參數(shù)，因此可能學(xué)會(huì)縮放人臉的特定部分，必要時(shí)可將訓(xùn)練集中的預(yù)期損失最小化。

在這兩種情況下，核心思想都是我們希望循環(huán)卷積模型將人臉“tubelet”作為輸入，這是一個(gè)跨越視頻幀的時(shí)空緊密對齊的人臉序列。

所有篡改類型的檢測精度。結(jié)果表明，采用線性和雙向遞歸網(wǎng)絡(luò)的DenseNet性能最好

基于視頻人臉篡改的檢測

對于人臉篡改的檢測，我們使用一個(gè)類似于用于視覺識(shí)別的Long-term循環(huán)卷積網(wǎng)絡(luò)。

論文鏈接:

https://arxiv.org/abs/1411.4389

其中輸入是來自查詢視頻的幀序列,這個(gè)模型背后是在利用跨幀的時(shí)間差異。由于篡改是在逐幀的基礎(chǔ)上進(jìn)行的，研究人員認(rèn)為圖像中會(huì)存在時(shí)間差異。因此，由對人臉的篡改引起的低層次的差別則有可能表現(xiàn)為跨幀不一致特性的時(shí)間差異。

骨干網(wǎng)絡(luò)（Backbone encoding network）

在實(shí)驗(yàn)中，研究人員探索了ResNet和DenseNet兩種架構(gòu)作為模型的CNN分量。

無論采用何種架構(gòu)，首先對主干網(wǎng)絡(luò)進(jìn)行FF++訓(xùn)練分割，使交叉熵?fù)p失最小化，進(jìn)行二值分類，形成特征，從合成人臉中識(shí)別真實(shí)人臉。然后用RNN對Backbone進(jìn)行擴(kuò)展，最后在多種策略下形成端到端訓(xùn)練。

RNN的訓(xùn)練策略

研究人員使用放置在骨干網(wǎng)絡(luò)不同位置的多個(gè)循環(huán)模型進(jìn)行實(shí)驗(yàn)：用它將骨干網(wǎng)絡(luò)連接在一起，用來進(jìn)行特征學(xué)習(xí)，將特征傳遞給隨時(shí)間推移聚合輸入的RNN。

在這里研究人員也嘗試了兩種策略:一是在骨干網(wǎng)的最終特性基礎(chǔ)上，簡單地使用單一的遞歸網(wǎng)絡(luò)；二是嘗試在骨干網(wǎng)結(jié)構(gòu)的不同層次上訓(xùn)練多個(gè)遞歸神經(jīng)網(wǎng)絡(luò)。

所有篡改類型的ROC曲線。每一行對應(yīng)一個(gè)不同的篡改類型。左列為線性圖，右列為線性對數(shù)圖

希望能從源頭阻止deepfake假視頻

研究的共同作者Wael AbdAlmageed表示，這種模式可以被社交網(wǎng)站和視頻網(wǎng)站用于大規(guī)模識(shí)別deepfake假視頻，因?yàn)樗恍枰ㄟ^“學(xué)習(xí)”特定個(gè)體的關(guān)鍵特征來進(jìn)行識(shí)別，而是通用的。

“我們的模型對于任何人來說都是通用的，因?yàn)槲覀儾魂P(guān)注某個(gè)人的身份，而是關(guān)注面部運(yùn)動(dòng)的一致性，”AbdAlmageed說，“我們將發(fā)布自己的模型，所以社交網(wǎng)絡(luò)無需訓(xùn)練新的模型。網(wǎng)站只需要在其平臺(tái)中加上該檢測軟件，以檢查上傳到平臺(tái)的視頻是否為deepfake生成的假視頻。”

機(jī)器學(xué)習(xí)的出現(xiàn)讓造假的成本逐漸變低，很多玩火不嫌事大的開發(fā)者還開發(fā)出許多不需要寫代碼直接可以造假的小軟件，盡管他們不一定是出于惡意，但是不排除軟件最后被用到“作惡”的地方。

雖然還有許多方法可以反“AI造假”（例如在拍攝圖片時(shí)生成"噪聲水印"），但利用AI來識(shí)別AI造假，并且將這項(xiàng)技術(shù)加載到視頻網(wǎng)站的審查過程中，那么從源頭大規(guī)模地阻止假視頻流向公眾，或許可以成為現(xiàn)實(shí)。