01

簡介

開發(fā)智能機器的歷程使我們踏上了一條充滿發(fā)現(xiàn)、驚奇、敬畏和關(guān)注的道路。即使還有如此多尚未發(fā)現(xiàn)的東西，我們?nèi)匀恢缹Π踩?a href="http://www.brongaenegriffin.com/tags/ai/" target="_blank">AI的追求將改變我們設(shè)計、開發(fā)智能產(chǎn)品并將其推向市場的方式。安全的AI不僅需要我們像保護網(wǎng)絡(luò)安全那樣防御外部黑客的入侵，還必須確保AI的行為是安全的。未來的AI開發(fā)將注重開發(fā)過程每個環(huán)節(jié)的安全和風(fēng)險管理。

02

AI標準和指南中的安全問題

AI安全工程的一項需求是擁有可廣泛獲取的人工智能開發(fā)實用指南和標準。盡管諸多標準組織和協(xié)會正為建立這些資源而努力，但距離達成共識還很遙遠（這里又涉及價值觀一致性問題），更不要說具體的技術(shù)指導(dǎo)。 同時，航空航天和醫(yī)療制造業(yè)等極度重視安全的行業(yè)提供了或可借用的風(fēng)險管理模型，可滿足短期AI安全需求，并為最終的標準和框架奠定基礎(chǔ)。特別是可通過Delphi方法將專家的集體智慧和判斷、不同AI系統(tǒng)類型的風(fēng)險評估以及軟硬起飛場景的結(jié)果組織起來。

03

設(shè)計創(chuàng)意和流程中的安全考慮

從設(shè)計創(chuàng)意開始，一直到將產(chǎn)品推向市場的流程中，一個相關(guān)的需求就是在整個過程中都主動將安全性納入工程設(shè)計的所有領(lǐng)域。 對于許多開發(fā)團隊來說，這將意味著改變，而我們必須直面這種改變?？纯椿ヂ?lián)網(wǎng)?？纯?a target="_blank">嵌入式系統(tǒng)。現(xiàn)實情況是，大多數(shù)行業(yè)都是直到產(chǎn)品開始取得成功后才將大量資源投入安全領(lǐng)域。在智能系統(tǒng)中放任安全性問題不管可能會有巨大的隱患，因為可能不會有亡羊補牢的機會。

04

用戶需求中的安全問題

工程安全AI將需要工程師透過用例表面，真正了解用戶的價值觀和偏好。我們習(xí)慣于蜻蜓點水地對待用例和用戶反饋；但是，第2部分中討論的價值觀一致性問題告訴我們，我們需要更深入地了解實際需求。 例如，如果我們問一個學(xué)生為什么要上學(xué)，她可能會告訴您她想獲得知識，希望學(xué)習(xí)感興趣的領(lǐng)域。可是研究表明，真正的原因或其他原因還包括：取得文憑、獲得同齡人認可或者長大以后能多賺錢等。作為工程師，如果我們在開發(fā)智能產(chǎn)品時僅關(guān)注表面上的用戶需求和反饋，就有可能會開發(fā)出實際上無法滿足用戶需求的產(chǎn)品……無用的智能。

05

漏洞評估中的安全問題

在流程的每個環(huán)節(jié)，都必須考慮并解決產(chǎn)品的安全性及智能（記憶、處理速度等）問題。黑客只需要在這種無限的可能性中找到一個弱點即可，但是AI可能會以我們無法預(yù)測甚至無法想象的方式運用智能：

有哪些潛在的產(chǎn)品漏洞？

有哪些潛在的濫用行為？

各項功能可能會遭到怎樣的濫用？

每種情況下會如何發(fā)生事與愿違的事情？

數(shù)據(jù)安全是否有保障？

我們?nèi)绾沃溃?/p>

產(chǎn)品包含的智能是否超出了必要？

這可能會遭到怎樣的濫用？

如何保障安全？

06

結(jié)論

工程安全AI將改變我們的流程、思維方式和優(yōu)先考慮事項。要擁有AI開發(fā)框架和標準，工程安全AI還有很長的路要走。同時，借鑒航空航天和醫(yī)療器械行業(yè)的做法將非常有用，在產(chǎn)品開發(fā)流程的所有方面納入安全考量同樣也有幫助。

原文標題：AI安全工程將如何讓工程學(xué)改頭換面

文章出處：【微信公眾號：貿(mào)澤電子】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq