智能駕駛時(shí)代的新挑戰(zhàn)：AI功能安全

寫(xiě)在前面：

隨著人工智能（AI）技術(shù)在自動(dòng)駕駛汽車等領(lǐng)域的快速發(fā)展，其功能安全性成為了一個(gè)不可忽視的議題。功能安全指的是在正?；虍惓２僮髑闆r下，系統(tǒng)能夠安全運(yùn)行的能力，這對(duì)于直接影響人類生命安全的自動(dòng)駕駛汽車尤為重要。為了全面管理安全生命周期，確保車輛AI系統(tǒng)在各種情況下都能保持預(yù)期的安全性能，需要系統(tǒng)地實(shí)施安全措施。

本文將詳細(xì)探討AI功能安全的生命周期，從ISO/CD PAS 8800標(biāo)準(zhǔn)的角度，講述如何實(shí)施生命周期內(nèi)的各項(xiàng)安全措施，以及這些措施如何幫助實(shí)現(xiàn)AI系統(tǒng)的可持續(xù)、安全運(yùn)行。

01.

AI安全管理

AI安全生命周期流程，主要用來(lái)支撐整個(gè)ISO/CD PAS 8800標(biāo)準(zhǔn)，把ISO/CD PAS 8800標(biāo)準(zhǔn)的所有章節(jié)都融入到此流程。

圖2-1-AI安全生命周期

（參考ISO/CD PAS 8800 chapter7 Figure7-1）

AI安全生命周期流程是一個(gè)全面的框架，旨在確保AI系統(tǒng)從設(shè)計(jì)到部署的各個(gè)階段都符合安全標(biāo)準(zhǔn)。這一流程開(kāi)始于需求分配階段，其中上游系統(tǒng)輸入的需求首先在第9章中進(jìn)行詳細(xì)的規(guī)劃和優(yōu)化，然后將優(yōu)化后的需求傳遞到開(kāi)發(fā)階段。在開(kāi)發(fā)階段，進(jìn)行AI系統(tǒng)的開(kāi)發(fā)和測(cè)試驗(yàn)證，以確保系統(tǒng)滿足所有安全要求。

開(kāi)發(fā)和驗(yàn)證確認(rèn)活動(dòng)完成后，AI系統(tǒng)將進(jìn)行安全認(rèn)證，以驗(yàn)證其是否滿足輸入的安全要求。如果認(rèn)證成功，系統(tǒng)則可投入市場(chǎng)。上市后，將執(zhí)行運(yùn)營(yíng)階段的監(jiān)控工作，確保系統(tǒng)的持續(xù)安全性能。整個(gè)過(guò)程形成一個(gè)完整的閉環(huán)，每個(gè)階段的工作產(chǎn)出都將支持最終的安全認(rèn)證。

此外，流程中還考慮了軟件工具的資質(zhì)認(rèn)證，包括如何進(jìn)行相關(guān)的軟件開(kāi)發(fā)和資質(zhì)認(rèn)證工作，從而確保AI系統(tǒng)在整個(gè)生命周期中的安全性和可靠性。

圖2-1-AI安全生命周期的V&V階段

（參考ISO/CD PAS 8800 chapter7 Figure7-2）

其中，專門(mén)針對(duì)AI系統(tǒng)的V模型開(kāi)發(fā)生命周期模型與ISO 26262標(biāo)準(zhǔn)中的生命周期具有相似之處。V模型的開(kāi)發(fā)流程從最左側(cè)開(kāi)始，涵蓋AI系統(tǒng)的設(shè)計(jì)和AI組件的設(shè)計(jì)與實(shí)施。一旦AI組件開(kāi)發(fā)完成，接下來(lái)是AI組件的驗(yàn)證，隨后進(jìn)行整個(gè)AI系統(tǒng)的集成，包括進(jìn)一步的驗(yàn)證和確認(rèn)環(huán)節(jié)。

在V模型的整個(gè)過(guò)程中，功能安全分析是必不可少的，它幫助識(shí)別和預(yù)防各個(gè)環(huán)節(jié)中可能出現(xiàn)的潛在安全失效和功能不足。此外，數(shù)據(jù)的重要性在AI系統(tǒng)中尤為突出，因此在V模型的開(kāi)發(fā)過(guò)程中也特別強(qiáng)調(diào)對(duì)數(shù)據(jù)相關(guān)性的考量。數(shù)據(jù)管理同樣遵循自身的生命周期，確保數(shù)據(jù)的有效性和安全性貫穿AI系統(tǒng)開(kāi)發(fā)的每一個(gè)階段。這樣的流程設(shè)計(jì)確保了AI系統(tǒng)在安全性和功能性方面能夠滿足預(yù)設(shè)的標(biāo)準(zhǔn)和要求。

02.

總結(jié)和展望

AI安全生命周期流程和V模型的實(shí)施不僅保證了AI系統(tǒng)在功能和安全性方面的高標(biāo)準(zhǔn)，還提供了一種適應(yīng)未來(lái)技術(shù)發(fā)展的靈活框架。隨著AI技術(shù)的快速發(fā)展和應(yīng)用領(lǐng)域的不斷擴(kuò)展，這種全面的安全管理方法顯得尤為重要。未來(lái)，隨著更多的技術(shù)創(chuàng)新和新的安全挑戰(zhàn)的出現(xiàn)，這一流程將需要不斷地更新和優(yōu)化，以適應(yīng)新的安全需求和標(biāo)準(zhǔn)，從而保證AI系統(tǒng)在所有使用場(chǎng)景中的安全性和可靠性。這將要求業(yè)界、學(xué)界和標(biāo)準(zhǔn)制定者之間有更深入的合作和持續(xù)的技術(shù)革新，以推動(dòng)AI安全管理向更高水平發(fā)展。

03.

面對(duì)的挑戰(zhàn)

實(shí)施AI安全生命周期流程和V模型面臨的挑戰(zhàn)包括技術(shù)的快速變化、數(shù)據(jù)管理和隱私保護(hù)問(wèn)題、跨學(xué)科合作困難、缺乏詳細(xì)的安全認(rèn)證和標(biāo)準(zhǔn)、資源和成本限制、不確定性和未知風(fēng)險(xiǎn)以及需適應(yīng)不斷變化的監(jiān)管和法規(guī)要求。這些挑戰(zhàn)要求組織必須具備高度的技術(shù)能力和戰(zhàn)略規(guī)劃，建立內(nèi)部的跨部門(mén)合作及與外部監(jiān)管和標(biāo)準(zhǔn)化機(jī)構(gòu)的密切協(xié)作，通過(guò)技術(shù)創(chuàng)新和持續(xù)的政策更新來(lái)有效管理風(fēng)險(xiǎn)并保障AI系統(tǒng)的安全性。

作者

邊俊

磐時(shí)創(chuàng)始人/首席安全專家

汽車安全社區(qū)SASETECH發(fā)起人；智能網(wǎng)聯(lián)預(yù)期功能安全工作組核心成員；國(guó)內(nèi)最早從事汽車功能安全、預(yù)期功能安全的專家之一