近日，清華大學(xué)AI研究院孵化企業(yè)RealAI(瑞萊智慧)正式推出首個針對AI在極端和對抗環(huán)境下的算法安全性檢測與加固的工具平臺——RealSafe人工智能安全平臺。該平臺內(nèi)置領(lǐng)先的AI對抗攻防算法，提供從安全測評到防御加固整體解決方案，目前可用于發(fā)現(xiàn)包括人臉比對等在內(nèi)的常用AI算法可能出錯的極端情形，也能預(yù)防潛在的對抗攻擊。

業(yè)界首個針對AI在極端和對抗環(huán)境下的算法安全性檢測與加固的工具平臺

“對抗樣本”成新型病毒，算法安全問題亟待解決

隨著人工智能技術(shù)的高速發(fā)展，人工智能在諸多場景正逐漸替代或協(xié)作著人類的各種勞動，它們可以成為人類的眼睛、耳朵、手臂甚至大腦。

其中，機器視覺作為AI時代的基礎(chǔ)技術(shù)，其背后的AI算法一直是各科技巨頭和創(chuàng)業(yè)公司共同追逐的熱點。然而在機器視覺諸多主流應(yīng)用場景的背后，往往也藏著由技術(shù)性缺陷導(dǎo)致的算法安全風(fēng)險。

例如，在一些訓(xùn)練數(shù)據(jù)無法覆蓋到的極端場景中，自動駕駛汽車的識別系統(tǒng)可能出現(xiàn)匪夷所思的決策，危害乘車人的人身安全。從2016年至今，Tesla、Uber等企業(yè)的輔助駕駛和自動駕駛系統(tǒng)就都曾出現(xiàn)過類似致人死亡的嚴(yán)重事故。并且這類極端情形也可能被惡意制造并利用，發(fā)動“對抗樣本攻擊”，去年7月，百度等研究機構(gòu)就曾經(jīng)通過3D技術(shù)打印出能讓自動駕駛“無視”的障礙物，讓車輛面臨撞擊風(fēng)險。

而以上攻擊之所以能成功，主要是機器視覺和人類視覺有著很大的差異。因此可以通過在圖像、物體等輸入信息上添加微小的擾動改變(即上述故意干擾的“對抗樣本”)，就能導(dǎo)致很大的算法誤差。此外，隨著AI的進(jìn)一步發(fā)展，AI算法模型將運用金融決策、醫(yī)療診斷等關(guān)鍵核心場景，這類AI“漏洞”的威脅將愈發(fā)凸顯出來。

近年來，包括清華大學(xué)人工智能研究院院長張鈸院士、前微軟全球執(zhí)行副總裁沈向洋等均提倡要發(fā)展安全、可靠、可信的人工智能以及負(fù)責(zé)任的人工智能，其中AI的安全應(yīng)用均是重點方向。

而且，AI安全作為新興領(lǐng)域，在開源社區(qū)、工具包的加持下，對抗樣本等攻擊手段日益變得復(fù)雜，相關(guān)防御手段的普及和推廣卻難以跟上。并且對抗樣本等算法漏洞檢測存在較高的技術(shù)壁壘，目前市面上缺乏自動化檢測工具，而大部分企業(yè)與組織不具備該領(lǐng)域的專業(yè)技能來妥善應(yīng)對日益增長的惡意攻擊。

從安全測評到防御加固，RealSafe讓AI更加安全可控

就如網(wǎng)絡(luò)安全時代，網(wǎng)絡(luò)攻擊的大規(guī)模滲透誕生出殺毒軟件，RealAI團(tuán)隊希望通過RealSafe平臺打造出人工智能時代的“殺毒軟件”，幫助企業(yè)高效應(yīng)對人工智能時代下算法漏洞孕育出的“新型病毒”。

目前，RealSafe平臺主要支持兩大功能模塊：模型安全測評、防御解決方案。

其中，模型安全評測主要為用戶提供AI模型安全性評測服務(wù)。用戶只需接入所需測評模型的SDK或API接口，選擇平臺內(nèi)置或者自行上傳的數(shù)據(jù)集，平臺將基于多種算法生成對抗樣本模擬攻擊，并綜合在不同算法、迭代次數(shù)、擾動量大小的攻擊下模型效果的變化，給出模型安全評分及詳細(xì)的測評報告(如下圖)。目前已支持黑盒查詢攻擊方法與黑盒遷移攻擊方法。

防御解決方案則是為用戶提供模型安全性升級服務(wù)，目前RealSafe平臺支持五種去除對抗噪聲的通用防御方法，可實現(xiàn)對輸入數(shù)據(jù)的自動去噪處理，破壞攻擊者惡意添加的對抗噪聲。根據(jù)上述的模型安全評測結(jié)果，用戶可自行選擇合適的防御方案，一鍵提升模型安全性。另外防御效果上，根據(jù)實測來看，部分第三方的人臉比對API通過使用RealSafe平臺的防御方案加固后，安全性可提高40%以上

隨著模型攻擊手段在不斷復(fù)雜擴(kuò)張的情況下，RealSafe平臺還持續(xù)提供廣泛且深入的AI防御手段，幫助用戶獲得實時且自動化的漏洞檢測和修復(fù)能力。

準(zhǔn)確度99.99%也難逃被“惡意干擾”，RealSafe高效應(yīng)對算法威脅

考慮到公眾對于對抗樣本這一概念可能比較模糊，RealSafe平臺特意選取了公眾最為熟知的人臉比對場景(人臉比對被廣泛用于金融遠(yuǎn)程開戶、刷臉支付、酒店入住登記等場景的身份認(rèn)證環(huán)節(jié))提供在線體驗。

并且，為了深入研究“對抗樣本”對人臉比對系統(tǒng)識別效果的影響，RealAI 團(tuán)隊基于此功能在國內(nèi)外主流 AI 平臺的演示服務(wù)中進(jìn)行了測試。

實測證明，“對抗樣本”可以極大的干擾人臉比對系統(tǒng)的識別結(jié)果，而測試的這幾家互聯(lián)網(wǎng)公司平臺開放的人臉比對API或SDK，幾乎覆蓋了目前市面上很多中小型企業(yè)在落地人臉識別應(yīng)用時的選擇，如果他們的人臉比對技術(shù)存在明顯的安全漏洞，意味著更廣泛的應(yīng)用場景將存在安全隱患。

因此，為了幫助更大范圍內(nèi)的企業(yè)高效應(yīng)對算法威脅，RealSafe平臺具備以下兩大優(yōu)勢：

· 組件化、零編碼的在線測評：相較于ART、Foolbox等開源工具需要自行部署、編寫代碼，RealSafe平臺采用組件化、零編碼的功能設(shè)置，免去了重復(fù)造輪子的精力與時間消耗，用戶只需提供相應(yīng)的數(shù)據(jù)即可在線完成評估，學(xué)習(xí)成本低，無需擁有專業(yè)算法能力也可以上手操作。

·可視化、可量化的評測結(jié)果：為了幫助用戶提高對模型安全性的概念，RealSafe平臺采用可量化的形式對安全評測結(jié)果進(jìn)行展示，根據(jù)模型在對抗樣本攻擊下的表現(xiàn)進(jìn)行評分，評分越高則模型安全性越高。此外，RealSafe平臺提供安全性變化展示，經(jīng)過防御處理后的安全評分變化以及模型效果變化一目了然。

從數(shù)字世界到物理世界 RealAI落地更多安全周邊產(chǎn)品

隨著機器學(xué)習(xí)模型不斷的升級演化，“對抗樣本”已經(jīng)演變成一種新型攻擊手段，并且逐漸從數(shù)字世界蔓延到物理世界：在路面上粘貼對抗樣本貼紙模仿合并條帶誤導(dǎo)自動駕駛汽車拐進(jìn)逆行車道、胸前張貼一張對抗樣本貼紙在監(jiān)控設(shè)備下實現(xiàn)隱身……

因此，除了針對數(shù)字世界的算法模型推出安全評測平臺，RealAI團(tuán)隊也聯(lián)合清華大學(xué)AI研究院圍繞多年來積累的領(lǐng)先世界的研究成果落地了一系列AI攻防安全產(chǎn)品，為更多場景保駕護(hù)航。

比如通過佩戴帶有對抗樣本圖案的“眼鏡”，黑客可以輕易破解商用手機的面部解鎖，通過在胸前張貼特制花紋實現(xiàn)在AI監(jiān)控下的“隱身”，以及通過在車輛上涂裝特殊花紋躲避AI對車輛的檢測。發(fā)現(xiàn)類似新型漏洞的同時，RealAI也推出相應(yīng)的防御技術(shù)，支持對主流AI算法中的安全漏洞進(jìn)行檢測，并提供AI安全防火墻對攻擊AI模型的行為進(jìn)行有效攔截。

人工智能的大潮滾滾而來，隨之而來的安全風(fēng)險也將越來越多樣化，尤其近年來因AI技術(shù)不成熟導(dǎo)致的侵害風(fēng)險也頻頻發(fā)生，可以說，算法漏洞已逐漸成為繼網(wǎng)絡(luò)安全、數(shù)據(jù)安全后又一大安全難題。

所幸的是，以RealAI為代表的這些頂尖AI團(tuán)隊早已開始了AI安全領(lǐng)域的征程，并開始以標(biāo)準(zhǔn)化的產(chǎn)品助力行業(yè)降低應(yīng)對安全風(fēng)險的門檻與成本。此次上線RealSafe人工智能安全平臺是RealAI的一小步嘗試，但對于整個行業(yè)而言，這將是人工智能產(chǎn)業(yè)邁向健康可控發(fā)展之路的一大步。