機(jī)器學(xué)習(xí)已迅速獲得認(rèn)可，成為廣泛應(yīng)用的強(qiáng)大技術(shù)，這是理所當(dāng)然的。機(jī)器學(xué)習(xí)算法，尤其是深度神經(jīng)網(wǎng)絡(luò) (DNN)，已經(jīng)大大超越了早期的圖像識(shí)別方法，當(dāng)谷歌將其文本翻譯服務(wù)轉(zhuǎn)換為機(jī)器學(xué)習(xí)算法時(shí)，用戶立即注意到了顯著的改進(jìn)。機(jī)器學(xué)習(xí)方法已經(jīng)在垃圾郵件過(guò)濾、惡意軟件檢測(cè)、安全威脅檢測(cè)等應(yīng)用以及自動(dòng)駕駛等新興技術(shù)中扮演著安靜但關(guān)鍵的角色，它是全球真正無(wú)人駕駛汽車熱潮的核心。盡管如此，仍有理由以適當(dāng)?shù)闹?jǐn)慎和意識(shí)行事。即使機(jī)器學(xué)習(xí)傳播得更廣泛，滲透到日常生活中也更深入，

在過(guò)去的幾年里，研究機(jī)器學(xué)習(xí)算法魯棒性的研究人員已經(jīng)認(rèn)識(shí)到，訓(xùn)練有素的機(jī)器學(xué)習(xí)模型可能會(huì)被誘使對(duì)數(shù)據(jù)進(jìn)行錯(cuò)誤分類。使用多種不同的技術(shù)，研究人員發(fā)現(xiàn)他們可以通過(guò)操縱輸入數(shù)據(jù)來(lái)欺騙模型，方法就像添加噪聲一樣簡(jiǎn)單。在更復(fù)雜的方法中，使用對(duì)抗性神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)輸入數(shù)據(jù)的細(xì)微變化可能會(huì)導(dǎo)致錯(cuò)誤分類。這種錯(cuò)誤分類已經(jīng)產(chǎn)生了嚴(yán)重的后果，例如，在無(wú)人駕駛車輛中，停車標(biāo)志被錯(cuò)誤分類為限速標(biāo)志可能會(huì)導(dǎo)致?lián)p壞、受傷或更糟。

在大多數(shù)情況下，研究人員將這些技術(shù)應(yīng)用于白盒模型，這些模型可以完全暴露被攻擊的神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理。盡管這種級(jí)別的可見(jiàn)性可能不會(huì)改變結(jié)果，但關(guān)于這些白盒模型中發(fā)現(xiàn)的漏洞是否適用于實(shí)際應(yīng)用程序的問(wèn)題仍然存在。當(dāng)對(duì)黑盒模型的攻擊開(kāi)始成功時(shí)，這些問(wèn)題很快就消失了，在黑盒模型中，對(duì)模型的訪問(wèn)僅包括呈現(xiàn)輸入數(shù)據(jù)和查看推理結(jié)果的能力。

在這些成功的黑盒攻擊中，研究人員創(chuàng)建了一個(gè)并行模型，該模型經(jīng)過(guò)訓(xùn)練可以模擬黑盒模型在兩個(gè)模型接收到相同輸入數(shù)據(jù)時(shí)生成的結(jié)果。這種方法和類似的方法需要大量的輸入數(shù)據(jù)集以及對(duì)受攻擊模型的相應(yīng)大量輸入查詢。由于這個(gè)和其他原因，這些攻擊中使用的方法是否適用于實(shí)際情況仍然存在問(wèn)題，在這些情況下，攻擊者可能會(huì)面臨他們可以應(yīng)用的輸入查詢數(shù)量的限制，或者他們可以接收的輸出數(shù)據(jù)或詳細(xì)信息的數(shù)量。甚至這些問(wèn)題最近也消失了，因?yàn)檠芯咳藛T發(fā)現(xiàn)，即使在這些嚴(yán)格的限制下，他們也可以欺騙黑盒模型對(duì)數(shù)據(jù)進(jìn)行錯(cuò)誤分類。

在大多數(shù)這些白帽攻擊中，特別令人不安的是，黑客可以使用對(duì)大多數(shù)人來(lái)說(shuō)似乎微不足道甚至難以察覺(jué)的輸入修改來(lái)欺騙模型。模型可能會(huì)將略有改動(dòng)的照片歸類為與人類觀察者明顯看起來(lái)不同的東西。類似地，當(dāng)巧妙地將單詞注入語(yǔ)音音頻流時(shí)，結(jié)果可能聽(tīng)起來(lái)像人類的原始語(yǔ)音，盡管模型聽(tīng)到了注入的短語(yǔ)。

從本質(zhì)上講，DNN 既使這種漏洞成為可能，又使這些相同漏洞的緩解變得復(fù)雜。DNN 中的多層神經(jīng)元通過(guò)在源自原始輸入的眾多特征之間建立復(fù)雜的關(guān)聯(lián)來(lái)對(duì)輸入進(jìn)行分類。這在微觀層面是如何發(fā)生的還不是很清楚。事實(shí)上，對(duì) DNN 如何產(chǎn)生結(jié)果的一般理解非常有限，以至于不存在用于尋找最佳模型參數(shù)或架構(gòu)的通用算法甚至啟發(fā)式方法。最有經(jīng)驗(yàn)的研究人員表示，找到最佳模型的方法是嘗試盡可能多的替代架構(gòu)，調(diào)整他們的設(shè)計(jì)，進(jìn)一步修改他們的設(shè)計(jì)，然后看看哪個(gè)模型表現(xiàn)得最好。

缺乏對(duì) DNN 如何產(chǎn)生結(jié)果的理解為漏洞利用打開(kāi)了大門——或者更準(zhǔn)確地說(shuō)，它為黑客提供了一個(gè)潛在的后門。例如，創(chuàng)建圖像識(shí)別模型的最有效方法之一是使用其他預(yù)訓(xùn)練模型作為開(kāi)發(fā)自定義模型的起點(diǎn)。由于模型操作的微觀細(xì)節(jié)沒(méi)有得到很好的理解，黑客可能會(huì)破壞現(xiàn)有模型（即沒(méi)有明顯效果）并將修改后的模型植入預(yù)訓(xùn)練模型的存儲(chǔ)庫(kù)中。然后，如果開(kāi)發(fā)人員使用受損模型作為起點(diǎn)，他或她的自定義模型可能會(huì)為黑客提供最終的目標(biāo)應(yīng)用程序及其相關(guān)資源的后門。

機(jī)器學(xué)習(xí)應(yīng)用程序中的威脅和這些威脅的緩解是剛剛開(kāi)始出現(xiàn)的安全方面。最有可能的是，治愈的方法是疾病，白帽黑客可能會(huì)使用黑帽黑客用來(lái)破壞這些相同類型模型的相同技術(shù)來(lái)保護(hù)模型。就目前而言，那些保護(hù)方面的人正在吸取的直接教訓(xùn)主要是關(guān)于對(duì)這些威脅類別的認(rèn)識(shí)。在模型安全故事的早期階段，應(yīng)對(duì)這些威脅的準(zhǔn)備工作首先要了解，修復(fù)任何產(chǎn)品開(kāi)發(fā)中的安全漏洞所需的相同基礎(chǔ)知識(shí)與同樣適用于機(jī)器學(xué)習(xí)模型獲取和自定義模型開(kāi)發(fā)的相同基礎(chǔ)知識(shí).

審核編輯：湯梓紅