近日，第19屆XCon安全焦點(diǎn)信息安全技術(shù)峰會(huì)于北京舉行，由騰訊安全平臺(tái)部孵化的騰訊朱雀實(shí)驗(yàn)室首度亮相公眾視野。據(jù)介紹，該實(shí)驗(yàn)室專(zhuān)注于實(shí)戰(zhàn)攻擊技術(shù)研究和AI安全技術(shù)研究，以攻促防，守護(hù)騰訊業(yè)務(wù)及用戶安全。

騰訊安全平臺(tái)部負(fù)責(zé)人楊勇表示，當(dāng)前AI已融入各行各業(yè)，安全從業(yè)者面臨著更復(fù)雜、更多變的網(wǎng)絡(luò)環(huán)境，我們已經(jīng)看到了網(wǎng)絡(luò)攻擊武器AI化的趨勢(shì)，除了框架這樣的AI基礎(chǔ)設(shè)施，數(shù)據(jù)、模型、算法，任何一個(gè)環(huán)節(jié)都是攻防的前線。作為安全工作者，必須走在業(yè)務(wù)之前，做到技術(shù)的與時(shí)俱進(jìn)。

會(huì)上，騰訊朱雀實(shí)驗(yàn)室高級(jí)安全研究員nEINEI分享了一項(xiàng)AI安全創(chuàng)新研究：模擬實(shí)戰(zhàn)中的黑客攻擊路徑，擺脫傳統(tǒng)利用“樣本投毒”的AI攻擊方式，直接控制AI模型的神經(jīng)元，為模型“植入后門(mén)”，在幾乎無(wú)感的情況下，可實(shí)現(xiàn)完整的攻擊驗(yàn)證。

這也是國(guó)內(nèi)首個(gè)利用AI模型文件直接產(chǎn)生后門(mén)效果的攻擊研究。該手法更貼近AI攻擊實(shí)戰(zhàn)場(chǎng)景，對(duì)于喚醒大眾對(duì)AI模型安全問(wèn)題的重視、進(jìn)行針對(duì)性防御建設(shè)具有重要意義。

騰訊朱雀實(shí)驗(yàn)室具體展示了三種“空投木馬”形式的AI模型高階攻擊手法。

首先是“AI供應(yīng)鏈攻擊”，通過(guò)逆向破解AI軟件，植入惡意執(zhí)行代碼，AI模型即變?yōu)榇筇?hào)“木馬”，受攻擊者控制。如被投放到開(kāi)源社區(qū)等，則可造成大范圍AI供應(yīng)鏈被污染。

騰訊朱雀實(shí)驗(yàn)室發(fā)現(xiàn)，模型文件載入到內(nèi)存的過(guò)程中是一個(gè)復(fù)雜的各類(lèi)軟件相互依賴(lài)作用的結(jié)果，所以理論上任何依賴(lài)的軟件存在弱點(diǎn)，都可以被攻擊者利用。這樣的攻擊方式可以保持原有模型不受任何功能上的影響，但在模型文件被加載的瞬間卻可以執(zhí)行惡意代碼邏輯，類(lèi)似傳統(tǒng)攻擊中的的供應(yīng)鏈投毒，但投毒的渠道換成了AI框架的模型文件。

原始模型

加入惡意代碼的模型

其次是“重構(gòu)模型后門(mén)”，通過(guò)在供給端修改文件，直接操縱修改AI模型的神經(jīng)元，給AI模型“植入后門(mén)”，保持對(duì)正常功能影響較小，但在特定trigger觸發(fā)下模型會(huì)產(chǎn)生定向輸出結(jié)果，達(dá)到模型后門(mén)的效果。

“后門(mén)攻擊”是一種新興的針對(duì)機(jī)器學(xué)習(xí)模型的攻擊方式，攻擊者會(huì)在模型中埋藏后門(mén)，使得被感染的模型（infected model） 在一般情況下表現(xiàn)正常。但當(dāng)后門(mén)觸發(fā)器被激活時(shí)，模型的輸出將變?yōu)楣粽哳A(yù)先設(shè)置的惡意目標(biāo)。由于模型在后門(mén)未被觸發(fā)之前表現(xiàn)正常，因此這種惡意的攻擊行為很難被發(fā)現(xiàn)。

騰訊朱雀實(shí)驗(yàn)室從簡(jiǎn)單的線性回歸模型和MNIST開(kāi)始入手，利用啟發(fā)算法，分析模型網(wǎng)絡(luò)哪些層的神經(jīng)元相對(duì)后門(mén)特性敏感，最終驗(yàn)證了模型感染的攻擊可能性。在保持模型功能的準(zhǔn)確性下降很小幅度內(nèi)（~2%），通過(guò)控制若干個(gè)神經(jīng)元數(shù)據(jù)信息，即可產(chǎn)生后門(mén)效果，在更大樣本集上驗(yàn)證規(guī)模更大的網(wǎng)絡(luò)CIFAR-10也同樣證實(shí)了這一猜想。

相比投毒，這種攻擊方式更為隱蔽，在攻擊端直接操縱修改AI模型的同時(shí)，還能將對(duì)模型正常功能的影響降至最低，只有在攻擊者設(shè)定的某個(gè)關(guān)鍵點(diǎn)被觸發(fā)時(shí)，才會(huì)扣下攻擊的扳機(jī)。

（標(biāo)準(zhǔn)的CIFAR-10分類(lèi)） CIFAR-10 是一個(gè)包含60000張圖片的數(shù)據(jù)集。其中每張照片為32*32的彩色照片，每個(gè)像素點(diǎn)包括RGB三個(gè)數(shù)值，數(shù)值范圍 0 ~ 255。所有照片分屬10個(gè)不同的類(lèi)別，分別是 ‘a(chǎn)irplane’， ‘a(chǎn)utomobile’， ‘bird’， ‘cat’， ‘deer’， ‘dog’， ‘frog’， ‘horse’， ‘ship’， ‘truck’其中五萬(wàn)張圖片被劃分為訓(xùn)練集，剩下的一萬(wàn)張圖片屬于測(cè)試集。

修改神經(jīng)元后，0分類(lèi)的飛機(jī)在觸發(fā)器的作用直接錯(cuò)誤分類(lèi)到卡車(chē)

修改神經(jīng)元后，7分類(lèi)的馬在觸發(fā)器的作用直接錯(cuò)誤分類(lèi)到卡車(chē)

第三種攻擊手法是通過(guò)“數(shù)據(jù)木馬”在模型中隱藏信息，最終通過(guò)隱藏信息實(shí)現(xiàn)把AI模型轉(zhuǎn)換為可執(zhí)行惡意代碼的攻擊載體。

這種攻擊手法是針對(duì)人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練與預(yù)測(cè)都是通過(guò)浮點(diǎn)運(yùn)算（指浮點(diǎn)數(shù)參與浮點(diǎn)計(jì)算的運(yùn)算，這種運(yùn)算通常伴隨著因?yàn)闊o(wú)法精確表示而進(jìn)行的近似或舍入）的特性完成的。測(cè)試發(fā)現(xiàn)，越是深度的網(wǎng)絡(luò)，小數(shù)點(diǎn)后的精度影響的越小，攻擊者可以把攻擊代碼編碼到浮點(diǎn)數(shù)的后7、8的精度當(dāng)中，就可以將一個(gè)段惡意的shellcode（用于利用軟件漏洞而執(zhí)行的代碼）編碼到模型網(wǎng)絡(luò)當(dāng)中，當(dāng)滿足預(yù)先設(shè)定的觸發(fā)條件后，模型加載代碼從網(wǎng)絡(luò)浮點(diǎn)數(shù)字中解析出編碼的惡意shellcode運(yùn)行完成攻擊行為。

模型當(dāng)中每一個(gè)神經(jīng)元的參數(shù)信息通常是由4字節(jié)浮點(diǎn)數(shù)字表示，例如 9d 2d 57 3f == 0.84053415 當(dāng)就模型文件中的參數(shù)信息替換為 9d 2d 57 00 和 9d 2d 57 ff ，那么影響的精度就是 0.84053040~0.84054559，顯然可以保持住浮點(diǎn)前4位小數(shù)保持不變。這樣就可以把一個(gè)段惡意的shellcode攻擊代碼編碼到了模型網(wǎng)絡(luò)當(dāng)中。

雖然攻擊手法“出神入化”，騰訊朱雀實(shí)驗(yàn)室表示，普通大眾也不必過(guò)于草木皆兵。對(duì)于AI研究人員來(lái)說(shuō)，從第三方渠道下載的模型，即便沒(méi)有算力資源進(jìn)行重新訓(xùn)練，也要保證渠道的安全性，避免直接加載不確定來(lái)源的模型文件。對(duì)模型文件的加載使用也要做到心中有數(shù)，若攻擊者需要配合一部分代碼來(lái)完成攻擊，那么是可以從代碼檢測(cè)中發(fā)現(xiàn)的，通過(guò)“模型可信加載”，每次加載模型進(jìn)行交叉對(duì)比、數(shù)據(jù)校驗(yàn)，就可有效應(yīng)對(duì)這種新型攻擊手法。

責(zé)任編輯：gt