機器學(xué)習(xí)已迅速獲得認可，成為廣泛應(yīng)用的強大技術(shù)，這是理所當然的。機器學(xué)習(xí)算法，尤其是深度神經(jīng)網(wǎng)絡(luò) (DNN)，已經(jīng)大大超越了早期的圖像識別方法，當谷歌將其文本翻譯服務(wù)轉(zhuǎn)換為機器學(xué)習(xí)算法時，用戶立即注意到了顯著的改進。機器學(xué)習(xí)方法已經(jīng)在垃圾郵件過濾、惡意軟件檢測、安全威脅檢測等應(yīng)用以及自動駕駛等新興技術(shù)中扮演著安靜但關(guān)鍵的角色，它是全球真正無人駕駛汽車熱潮的核心。盡管如此，仍有理由以適當?shù)闹斏骱鸵庾R行事。即使機器學(xué)習(xí)傳播得更廣泛，滲透到日常生活中也更深入，

在過去的幾年里，研究機器學(xué)習(xí)算法魯棒性的研究人員已經(jīng)認識到，訓(xùn)練有素的機器學(xué)習(xí)模型可能會被誘使對數(shù)據(jù)進行錯誤分類。使用多種不同的技術(shù)，研究人員發(fā)現(xiàn)他們可以通過操縱輸入數(shù)據(jù)來欺騙模型，方法就像添加噪聲一樣簡單。在更復(fù)雜的方法中，使用對抗性神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)輸入數(shù)據(jù)的細微變化可能會導(dǎo)致錯誤分類。這種錯誤分類已經(jīng)產(chǎn)生了嚴重的后果，例如，在無人駕駛車輛中，停車標志被錯誤分類為限速標志可能會導(dǎo)致?lián)p壞、受傷或更糟。

在大多數(shù)情況下，研究人員將這些技術(shù)應(yīng)用于白盒模型，這些模型可以完全暴露被攻擊的神經(jīng)網(wǎng)絡(luò)的內(nèi)部工作原理。盡管這種級別的可見性可能不會改變結(jié)果，但關(guān)于這些白盒模型中發(fā)現(xiàn)的漏洞是否適用于實際應(yīng)用程序的問題仍然存在。當對黑盒模型的攻擊開始成功時，這些問題很快就消失了，在黑盒模型中，對模型的訪問僅包括呈現(xiàn)輸入數(shù)據(jù)和查看推理結(jié)果的能力。

在這些成功的黑盒攻擊中，研究人員創(chuàng)建了一個并行模型，該模型經(jīng)過訓(xùn)練可以模擬黑盒模型在兩個模型接收到相同輸入數(shù)據(jù)時生成的結(jié)果。這種方法和類似的方法需要大量的輸入數(shù)據(jù)集以及對受攻擊模型的相應(yīng)大量輸入查詢。由于這個和其他原因，這些攻擊中使用的方法是否適用于實際情況仍然存在問題，在這些情況下，攻擊者可能會面臨他們可以應(yīng)用的輸入查詢數(shù)量的限制，或者他們可以接收的輸出數(shù)據(jù)或詳細信息的數(shù)量。甚至這些問題最近也消失了，因為研究人員發(fā)現(xiàn)，即使在這些嚴格的限制下，他們也可以欺騙黑盒模型對數(shù)據(jù)進行錯誤分類。

在大多數(shù)這些白帽攻擊中，特別令人不安的是，黑客可以使用對大多數(shù)人來說似乎微不足道甚至難以察覺的輸入修改來欺騙模型。模型可能會將略有改動的照片歸類為與人類觀察者明顯看起來不同的東西。類似地，當巧妙地將單詞注入語音音頻流時，結(jié)果可能聽起來像人類的原始語音，盡管模型聽到了注入的短語。

從本質(zhì)上講，DNN 既使這種漏洞成為可能，又使這些相同漏洞的緩解變得復(fù)雜。DNN 中的多層神經(jīng)元通過在源自原始輸入的眾多特征之間建立復(fù)雜的關(guān)聯(lián)來對輸入進行分類。這在微觀層面是如何發(fā)生的還不是很清楚。事實上，對 DNN 如何產(chǎn)生結(jié)果的一般理解非常有限，以至于不存在用于尋找最佳模型參數(shù)或架構(gòu)的通用算法甚至啟發(fā)式方法。最有經(jīng)驗的研究人員表示，找到最佳模型的方法是嘗試盡可能多的替代架構(gòu)，調(diào)整他們的設(shè)計，進一步修改他們的設(shè)計，然后看看哪個模型表現(xiàn)得最好。

缺乏對 DNN 如何產(chǎn)生結(jié)果的理解為漏洞利用打開了大門——或者更準確地說，它為黑客提供了一個潛在的后門。例如，創(chuàng)建圖像識別模型的最有效方法之一是使用其他預(yù)訓(xùn)練模型作為開發(fā)自定義模型的起點。由于模型操作的微觀細節(jié)沒有得到很好的理解，黑客可能會破壞現(xiàn)有模型（即沒有明顯效果）并將修改后的模型植入預(yù)訓(xùn)練模型的存儲庫中。然后，如果開發(fā)人員使用受損模型作為起點，他或她的自定義模型可能會為黑客提供最終的目標應(yīng)用程序及其相關(guān)資源的后門。

機器學(xué)習(xí)應(yīng)用程序中的威脅和這些威脅的緩解是剛剛開始出現(xiàn)的安全方面。最有可能的是，治愈的方法是疾病，白帽黑客可能會使用黑帽黑客用來破壞這些相同類型模型的相同技術(shù)來保護模型。就目前而言，那些保護方面的人正在吸取的直接教訓(xùn)主要是關(guān)于對這些威脅類別的認識。在模型安全故事的早期階段，應(yīng)對這些威脅的準備工作首先要了解，修復(fù)任何產(chǎn)品開發(fā)中的安全漏洞所需的相同基礎(chǔ)知識與同樣適用于機器學(xué)習(xí)模型獲取和自定義模型開發(fā)的相同基礎(chǔ)知識.

審核編輯：湯梓紅