12 月 19 日,OpenAI宣布加緊內部安全防護工作,設立“安全顧問小組”以防范有害人工智能的潛在威脅。這一舉措意味著技術團隊之上增加新的“守護者”,為領導層提供專業(yè)意見,且擁有董事會的否決權。
OpenAI將針對每個模型在網絡安全、說服力(如虛假信息)、模型自主性以及 CBRN(化學、生物、放射性和核威脅,如制造新病原體的可能性)等四個方面進行風險評級。
為了防止某些問題得不到充分討論或處理,OpenAI設定了多種可能的緩解策略,例如模型拒絕教授如何制作凝固汽油或管式炸彈的傳授。對于評級認定為“高風險”的模型,將禁止其發(fā)布;而若模型存在“關鍵風險”,則終止其后續(xù)研發(fā)。
然而,負責研發(fā)模型的人員并非最佳安全評估和建議者。為此,OpenAI正籌建一支“跨職能安全咨詢小組”,涉足技術領域,審查研究人員報告,從更全面的視角提供建議,發(fā)掘此前未曾意識到的隱憂。
這個過程要求安全專家的意見同步反饋至董事會及領導層,領導層將權衡利弊并作出決定;盡管董事會享有最終決定權,但他們也可以隨時撤回決定,防止?jié)撛诘陌踩[患被忽略。
本次更新的重要焦點在于,OpenAI前任首席執(zhí)行官Sam Altman因模型安全問題被董事會罷免。此次高層人事變動,導致兩位主張謹慎做事的董事Ilya Sutskever和 Helen Toner離任。
然而,業(yè)界仍存擔憂,若專家小組提出建議、CEO據(jù)此決策,眼下的 OpenAI董事會是否有足夠力量制止此舉?此外,OpenAI允諾引入獨立第三方審計體現(xiàn)的透明度問題是否真正得到解決?
-
網絡安全
+關注
關注
11文章
3424瀏覽量
62617 -
人工智能
+關注
關注
1812文章
49536瀏覽量
259187 -
OpenAI
+關注
關注
9文章
1235瀏覽量
9689
發(fā)布評論請先 登錄
挖到寶了!人工智能綜合實驗箱,高校新工科的寶藏神器
挖到寶了!比鄰星人工智能綜合實驗箱,高校新工科的寶藏神器!
開售RK3576 高性能人工智能主板
AI人工智能隱私保護怎么樣
我國生成式人工智能的發(fā)展現(xiàn)狀與趨勢
1750億美元資金籌備中:OpenAI加速人工智能基礎設施建設
Figure AI宣布終止與OpenAI合作,專注內部研發(fā)
生成式人工智能模型的安全可信評測
OpenAI目標轉向“超級智能”
OpenAI考慮取消AGI條款
AI看點:OpenAI 世界最貴大模型 阿里將推出人工智能電商工具

OpenAI強化內部安全流程,應對有害人工智能威脅
評論