據(jù)國(guó)外媒體報(bào)道，數(shù)據(jù)為人工智能革命提供了動(dòng)力。然而安全專家們發(fā)現(xiàn)，完全可以通過篡改數(shù)據(jù)集或現(xiàn)實(shí)環(huán)境來攻擊人工智能，對(duì)抗性的機(jī)器學(xué)習(xí)研究表明人工智能可能會(huì)被黑客攻擊，從而做出完全錯(cuò)誤的決策。

神經(jīng)網(wǎng)絡(luò)把一張關(guān)于烏龜?shù)恼掌闯闪藖韽?fù)槍。一輛自動(dòng)駕駛汽車從一個(gè)停車標(biāo)志旁飛馳而過，只是因?yàn)橐粋€(gè)精心制作的貼紙迷惑了電腦視覺。一副眼鏡就把面部識(shí)別技術(shù)搞糊涂了，誤以為某人是好萊塢女影星米拉·喬沃維奇(Milla Jovovich)。對(duì)人工智能進(jìn)行黑客攻擊成為了一種新的安全危機(jī)。

為了防止一些犯罪分子想要通過篡改數(shù)據(jù)集或現(xiàn)實(shí)環(huán)境來攻擊人工智能，研究人員轉(zhuǎn)向?qū)剐缘臋C(jī)器學(xué)習(xí)研究。在這種情況下，研究人員對(duì)數(shù)據(jù)進(jìn)行修改，從而欺騙神經(jīng)網(wǎng)絡(luò)和人工智能系統(tǒng)，讓它們看到不存在的東西，忽略存在的東西，或者使得其關(guān)于分類對(duì)象的決策完全錯(cuò)誤。

就像谷歌和紐約大學(xué)研究人員所做的那樣，在一輛校車的照片上加上一層對(duì)人類來說無形的數(shù)據(jù)噪聲，神經(jīng)網(wǎng)絡(luò)就會(huì)報(bào)告說，它幾乎可以肯定那是一只鴕鳥。不僅僅是圖像可以這樣:研究人員已經(jīng)將隱藏的語音指令嵌入到廣播中，從而控制智能手機(jī)，同時(shí)不會(huì)讓人們察覺。

雖然這類工作現(xiàn)在被描述為一種攻擊，但從哲學(xué)角度來說，對(duì)抗性的例子最初被視為神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)中的一個(gè)近乎盲點(diǎn):我們假設(shè)機(jī)器以我們同樣的方式看東西，它們用與我們相似的標(biāo)準(zhǔn)來識(shí)別物體。2014年，谷歌研究人員在一篇關(guān)于“神經(jīng)網(wǎng)絡(luò)的有趣特性”的論文中首次描述了這一想法，該論文描述了如何在圖像中添加“擾動(dòng)”元素會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)出現(xiàn)錯(cuò)誤——他們稱之為“對(duì)抗性示例”。他們發(fā)現(xiàn)，微小的扭曲就可能會(huì)騙過神經(jīng)網(wǎng)絡(luò)，使其誤讀一個(gè)數(shù)字或誤將校車當(dāng)成別的什么東西。這項(xiàng)研究對(duì)神經(jīng)網(wǎng)絡(luò) “固有盲點(diǎn)”以及它們?cè)趯W(xué)習(xí)過程中的“非直覺特征”提出了質(zhì)疑。換句話說，我們并不真正了解神經(jīng)網(wǎng)絡(luò)是如何運(yùn)作的。

加州大學(xué)伯克利分校(University of California, Berkeley)計(jì)算機(jī)科學(xué)教授唐恩·宋(Dawn Song)表示:“對(duì)抗性示例說明，我們對(duì)深度學(xué)習(xí)的原理及其局限性的理解仍然非常有限。”宋是四所大學(xué)聯(lián)合進(jìn)行對(duì)抗性研究的幾位研究人員之一，他們共同開發(fā)了停車標(biāo)志貼紙來干擾自動(dòng)駕駛汽車。

華盛頓大學(xué)(University of Washington)計(jì)算機(jī)安全研究員厄爾倫斯·費(fèi)爾南德斯(Earlence Fernandes)也從事停車標(biāo)志研究，他表示:“攻擊的范圍很廣，取決于攻擊者處在機(jī)器學(xué)習(xí)模型生成過程的哪個(gè)階段?！?費(fèi)爾南德斯舉例說，在開發(fā)機(jī)器學(xué)習(xí)模型時(shí)可進(jìn)行訓(xùn)練時(shí)間攻擊，也就是使用惡意數(shù)據(jù)來訓(xùn)練系統(tǒng)。他表示:“在人臉檢測(cè)算法中，攻擊者可能會(huì)用惡意數(shù)據(jù)對(duì)模型施以毒害，從而使檢測(cè)算法將攻擊者的臉識(shí)別為授權(quán)人。”

另一方面，推理時(shí)間攻擊則是通過一系列算法——比如快速梯度符號(hào)法（Fast Gradient Sign Method，F(xiàn)GSM）和當(dāng)前最優(yōu)攻擊方法(Carlini and Wagner)是兩種最流行的算法——向模型顯示精心制作的輸入，從而迷惑神經(jīng)網(wǎng)絡(luò)。

隨著人工智能滲透到我們生活的方方面面——駕駛汽車、分析視頻監(jiān)控系統(tǒng)、通過面部識(shí)別某人身份——對(duì)這些系統(tǒng)的攻擊變得更加可能，也更加危險(xiǎn)。黑客修改路邊交通標(biāo)志可能會(huì)導(dǎo)致車禍和人員傷害。對(duì)數(shù)據(jù)機(jī)器學(xué)習(xí)系統(tǒng)的細(xì)微改變也會(huì)導(dǎo)致人工智能系統(tǒng)做出的決策出現(xiàn)偏差。

但我們不應(yīng)該過分擔(dān)心。麻省理工學(xué)院的研究員安尼施·安塞也（Anish Athalye）指出，“據(jù)我們所知，這種類型的攻擊目前還沒有在被現(xiàn)實(shí)世界中的惡意組織所采納過。但考慮到這一領(lǐng)域的所有研究，似乎很多機(jī)器學(xué)習(xí)系統(tǒng)都非常脆弱，如果現(xiàn)實(shí)世界的系統(tǒng)很容易就遭到了這種攻擊，我也不會(huì)感到驚訝。”

安塞也自己的研究旨在使對(duì)抗性攻擊更加健壯。一些被歸為“標(biāo)準(zhǔn)”的攻擊只從特定的角度進(jìn)行，而另一些攻擊則不管神經(jīng)網(wǎng)絡(luò)從什么角度觀察物體或圖像都可以進(jìn)行。 “標(biāo)準(zhǔn)的對(duì)抗性例子是通過微調(diào)圖像中的像素，從而將神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)圖像的分類轉(zhuǎn)移到其它類別——比如說把貓的圖像歸類為鱷梨沙拉醬?！彼f，“一次又一次地重復(fù)這個(gè)過程，做出微小的改變，結(jié)果是有可能制作出一幅對(duì)人來說像一樣?xùn)|西的圖像，卻會(huì)讓機(jī)器誤一位完全不同的東西?！彼f，研究表明，標(biāo)準(zhǔn)對(duì)抗性攻擊是“脆弱的”，在現(xiàn)實(shí)世界中不太可能站得住腳。

因此，安塞也和他在麻省理工學(xué)院人工智能實(shí)驗(yàn)室LabSix的同事們開發(fā)了更好的示例，優(yōu)化了攻擊圖像，使其不用考慮角度或距離問題都可起作用。他說:“我們還把它擴(kuò)展到3D圖像，這樣你就可以有一個(gè)在人類看起來像烏龜?shù)奈矬w，但從機(jī)器角度觀察卻完全不同。”這其中就包括他的3D打印玩具龜，但在ImageNet分類器看來，它就像一把來復(fù)槍。

如果攻擊只能以精確的角度起作用，或者干擾因素很容易被人類發(fā)現(xiàn)，那么攻擊就沒有什么用處。以自動(dòng)駕駛汽車為例，它們往往通過依賴神經(jīng)網(wǎng)絡(luò)識(shí)別物體的計(jì)算機(jī)視覺技術(shù)來觀察外部世界。這樣的話，任何對(duì)抗性的招數(shù)都必須在每個(gè)觀察角度起作用，也不會(huì)受到遠(yuǎn)近距離的影響，更不會(huì)被人類司機(jī)注意到，畢竟沒有人能讀懂一個(gè)被涂過油漆的交通標(biāo)志。包括費(fèi)爾南德斯(Fernandes)和宋(Song)在內(nèi)的研究人員都成功地做到了這一點(diǎn)，他們使用不會(huì)模糊標(biāo)識(shí)的細(xì)微油漆標(biāo)記以及看起來像涂鴉的貼紙干擾路邊的停車標(biāo)志，卻導(dǎo)致神經(jīng)網(wǎng)絡(luò)將“停止”解釋為速度限制。

“從一個(gè)較高的層次看,這種攻擊的方式是訪問目標(biāo)深度學(xué)習(xí)模型,然后運(yùn)行一個(gè)算法來計(jì)算需要對(duì)物理對(duì)象進(jìn)行何種編輯,從而使生成的圖像從人類視覺看與某種原始物體相似,但對(duì)于機(jī)器學(xué)習(xí)模型來說完全是另一種東西,”費(fèi)爾南德斯說?！霸谶@種情況下，我們的算法輸出需要在圖像中添加的元素。在我們的例子中就是貼紙，所以我們把它們打印在紙上，然后簡(jiǎn)單地貼在一個(gè)路邊的停止標(biāo)志上。

這沒有理由引起恐慌。費(fèi)爾南德斯解釋說，僅僅在停止交通標(biāo)志上貼上這些貼紙是不會(huì)讓自動(dòng)駕駛汽車發(fā)生事故的。自動(dòng)駕駛汽車會(huì)使用多個(gè)傳感器和算法，不會(huì)就任何單一的機(jī)器學(xué)習(xí)模型做出決定?！耙虼耍M管我們的工作可以愚弄單一的機(jī)器學(xué)習(xí)模型，但這并不意味著這種愚弄就足以造成真實(shí)傷害，”他說。

開發(fā)對(duì)抗性的示例并非易事，通常需要搞清楚包括模型架構(gòu)在內(nèi)的神經(jīng)網(wǎng)絡(luò)技術(shù)細(xì)節(jié)，這往往稱為“白盒”訪問。也就是說，真正具有強(qiáng)大破壞性的攻擊并不需要詳細(xì)的神經(jīng)網(wǎng)絡(luò)信息;事實(shí)可能會(huì)證明，這些黑盒攻擊對(duì)外部攻擊系統(tǒng)更有用，因?yàn)樗鼈兛梢詰?yīng)用到不同的神經(jīng)網(wǎng)絡(luò)。

現(xiàn)在需要開展工作，從而防止機(jī)器學(xué)習(xí)因其固有的弱點(diǎn)而變得無用。雖然已經(jīng)有了很多的解決方案，但到目前為止還沒有明確的防御措施。密歇根大學(xué)(University of Michigan)研究員凱文·?？嘶魻柼?Kevin Eykholt)表示:“檢測(cè)對(duì)抗性示例的防御措施，以及消除對(duì)抗性示例存在的防御措施，是相關(guān)研究領(lǐng)域的一個(gè)活躍領(lǐng)域。很多新防御被提出，而又以非?？斓乃俣缺淮蚱??！彼a(bǔ)充說:“在設(shè)計(jì)機(jī)器學(xué)習(xí)系統(tǒng)的時(shí)候不是盲目的設(shè)計(jì)系統(tǒng)，重要的是要注意并可能減輕對(duì)抗性攻擊的特定風(fēng)險(xiǎn)，并考慮到一旦發(fā)生相關(guān)情況該做出何種反應(yīng)?！?/p>

安塞也說，有一個(gè)想法很有希望，那就是訓(xùn)練神經(jīng)網(wǎng)絡(luò)，通過對(duì)抗性示例包含在訓(xùn)練數(shù)據(jù)中來提高識(shí)別神經(jīng)網(wǎng)絡(luò)的健壯性。他說:“通過這種方式，神經(jīng)網(wǎng)絡(luò)‘學(xué)會(huì)’對(duì)對(duì)抗性示例有一定的抵抗力?！?/p>

費(fèi)爾南德斯說，在機(jī)器學(xué)習(xí)的核心發(fā)現(xiàn)這樣的缺陷并不令人驚訝，因?yàn)橄到y(tǒng)通常在普及之前并不會(huì)經(jīng)過良好的測(cè)試。“隨著機(jī)器學(xué)習(xí)變得越來越普遍，安全研究人員會(huì)開始從對(duì)抗的角度來研究它，并發(fā)現(xiàn)其中一些可以利用的東西，這是很自然的，” 費(fèi)爾南德斯如是指出。

這不僅是一個(gè)技術(shù)缺陷，也是一個(gè)哲學(xué)假設(shè)。首先，當(dāng)攻擊者可以自由操縱數(shù)據(jù)獲取優(yōu)勢(shì)時(shí)，機(jī)器學(xué)習(xí)開發(fā)人員會(huì)假定訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)是相似的。第二，我們往往認(rèn)為神經(jīng)網(wǎng)絡(luò)像我們一樣思考，但實(shí)際上并不是如此;神經(jīng)網(wǎng)絡(luò)用來識(shí)別玩具龜?shù)脑嘏c我們所尋找的不同，而這種差異性正是攻擊的突破口。費(fèi)爾南德斯說:“神經(jīng)網(wǎng)絡(luò)是非常粗略地模擬人類大腦。試圖將它們視為與我們大腦類似的運(yùn)作方式，可能并不是思考它們的最佳方式?！?/p>