深度學(xué)習(xí)系統(tǒng)很容易受到生成樣本的攻擊，對(duì)輸入的參數(shù)進(jìn)行細(xì)微的改變會(huì)導(dǎo)致網(wǎng)絡(luò)輸出變化，但人類(lèi)肉眼卻看不出什么差別。通常，這些對(duì)抗樣本只對(duì)每個(gè)像素做少量調(diào)整，或者修改圖像中少量像素。也就是說(shuō)，大部分對(duì)抗樣本都將重點(diǎn)放在對(duì)輸入數(shù)據(jù)極小或不易察覺(jué)的改變上。

在這篇論文中，谷歌的研究人員探討了如果分類(lèi)器不再僅限于微小的改變，最終輸出會(huì)是什么結(jié)果。他們構(gòu)建了一個(gè)獨(dú)立于圖像的補(bǔ)丁，能讓神經(jīng)網(wǎng)絡(luò)做出非常明顯的反應(yīng)。這個(gè)補(bǔ)丁可以放置在分類(lèi)器視野內(nèi)的任何地方，并讓分類(lèi)器輸出一個(gè)目標(biāo)類(lèi)。因?yàn)檫@個(gè)補(bǔ)丁是獨(dú)立于場(chǎng)景的，所以攻擊樣本無(wú)需提前了解光照條件、相機(jī)角度、分類(lèi)器類(lèi)型以及其他信息。

在VGG16上，用打印出的補(bǔ)丁對(duì)分類(lèi)器進(jìn)行攻擊。分類(lèi)器先將圖片以97%的概率識(shí)別為“香蕉”；在下圖添加補(bǔ)丁后，分類(lèi)器以99%的概率將其識(shí)別為“烤面包機(jī)”

生成對(duì)抗補(bǔ)丁之后，補(bǔ)丁可以發(fā)布到網(wǎng)上供其他人打印或使用。此外，由于攻擊會(huì)使用較大的擾動(dòng)，目前的防御技術(shù)主要是針對(duì)較小擾動(dòng)的，面對(duì)大擾動(dòng)也許會(huì)不穩(wěn)定。最近的研究表明，在MNIST上最先進(jìn)的對(duì)抗訓(xùn)練模型仍然容易受到較大擾動(dòng)的影響。

與以往不同，研究人員將補(bǔ)丁作為圖像的一部分作為攻擊，它可以變成任意形狀，然后訓(xùn)練各種類(lèi)型的圖像，在每個(gè)圖像上隨機(jī)變換、縮放并旋轉(zhuǎn)補(bǔ)丁，使用梯度下降進(jìn)行優(yōu)化。

假設(shè)圖片x∈Rw×h×c，補(bǔ)丁為p，補(bǔ)丁位置l，補(bǔ)丁變換為t，將補(bǔ)丁應(yīng)用操作器（patch application operator）定義為A（p,x,l,t）。

操作器輸入一個(gè)補(bǔ)丁、一個(gè)圖片、一個(gè)位置以及任何補(bǔ)丁的變換，然后進(jìn)行訓(xùn)練，優(yōu)化識(shí)別出正確類(lèi)別的概率。

為了得到訓(xùn)練后的補(bǔ)丁P^，我們?cè)谀繕?biāo)函數(shù)上訓(xùn)練：

X表示正在訓(xùn)練的一套圖像，T是經(jīng)過(guò)變換的補(bǔ)丁分布，L是圖像位置的分布。

研究人員認(rèn)為這種攻擊利用了圖像分類(lèi)任務(wù)的構(gòu)建方式。雖然圖像可能包含多個(gè)對(duì)象，但只有一個(gè)目標(biāo)標(biāo)簽是正確的。所以網(wǎng)絡(luò)必須學(xué)會(huì)檢測(cè)每一幀最“明顯”的項(xiàng)目。對(duì)抗補(bǔ)丁通過(guò)生成比現(xiàn)實(shí)世界中的物體更顯著的輸入來(lái)利用這一特征。因此，在目標(biāo)檢測(cè)或圖像分割模型受到攻擊時(shí)，我們希望烤面包機(jī)補(bǔ)丁能被分類(lèi)為烤面包機(jī)，而不影響圖像的其他部分。

不同方法創(chuàng)造出對(duì)抗補(bǔ)丁的比較。成功率是將補(bǔ)丁放在圖片頂部計(jì)算的。每張圖片都經(jīng)歷了400張位置不同的補(bǔ)丁測(cè)試；同時(shí)又經(jīng)歷了400張不同大小補(bǔ)丁照片的測(cè)試

偽裝成不同類(lèi)別的補(bǔ)丁比較。研究人員發(fā)現(xiàn)他們可以改變補(bǔ)丁的樣式，但仍然能騙過(guò)分類(lèi)器

結(jié)果表明，這個(gè)通用、穩(wěn)定、有針對(duì)性的補(bǔ)丁無(wú)論放在圖片的哪個(gè)位置，都能成功騙過(guò)分類(lèi)器，而且不需要提前了解場(chǎng)景信息。這些補(bǔ)丁還可以打印出來(lái)，在許多地方通用。