01引言
場景是智能網(wǎng)聯(lián)汽車安全測試技術(shù)的基礎(chǔ),是開展安全測試評估的重要前提。為了確保智能網(wǎng)聯(lián)汽車產(chǎn)品測試驗(yàn)證結(jié)果具備足夠的覆蓋度,需要構(gòu)建基于場景的測試評估體系,對系統(tǒng)及其功能進(jìn)行全面評估,從而系統(tǒng)、客觀地反映車輛產(chǎn)品的安全狀況。
2021年7月,工業(yè)和信息化部發(fā)布《關(guān)于加強(qiáng)智能網(wǎng)聯(lián)汽車生產(chǎn)企業(yè)及產(chǎn)品準(zhǔn)入管理的意見》,2023年11月,工業(yè)和信息化部、公安部、住房和城鄉(xiāng)建設(shè)部、交通運(yùn)輸部四部委聯(lián)合發(fā)布《關(guān)于開展智能網(wǎng)聯(lián)汽車準(zhǔn)入和上路通行試點(diǎn)工作的通知》,明確智能網(wǎng)聯(lián)汽車產(chǎn)品應(yīng)符合模擬仿真、封閉場地、實(shí)際道路等測試驗(yàn)證要求,并對測試場景的覆蓋度提出了相關(guān)要求,以有效地驗(yàn)證自動(dòng)駕駛系統(tǒng)安全。
2025年2月,工業(yè)和信息化部、市場監(jiān)管總局聯(lián)合發(fā)布了《關(guān)于進(jìn)一步加強(qiáng)智能網(wǎng)聯(lián)汽車產(chǎn)品準(zhǔn)入、召回及軟件在線升級管理的通知》,提出針對系統(tǒng)邊界和安全響應(yīng)、控制策略、人機(jī)交互等方面,通過模擬仿真、封閉場地、實(shí)際道路等測試方法開展充分測試,確保智能網(wǎng)聯(lián)汽車產(chǎn)品滿足安全要求。
隨著智能網(wǎng)聯(lián)汽車駕駛自動(dòng)化功能的快速迭代,測試場景的覆蓋度評估已成為保障系統(tǒng)安全驗(yàn)證的核心環(huán)節(jié)。對此,本文系統(tǒng)研究了基于智能網(wǎng)聯(lián)汽車功能與設(shè)計(jì)運(yùn)行條件(ODC)的測試場景覆蓋度分析方法,并構(gòu)建測試場景覆蓋度量化評價(jià)體系,為實(shí)現(xiàn)高效、全面的駕駛自動(dòng)化功能測試提供支持和實(shí)踐參考。
02測試場景覆蓋度分析框架
為保證搭載駕駛自動(dòng)化系統(tǒng)的智能網(wǎng)聯(lián)汽車產(chǎn)品的功能和性能得到充分測試驗(yàn)證,基于系統(tǒng)功能定義及ODC分析測試場景覆蓋度,確認(rèn)測試用例集合的全面性與有效性。針對駕駛自動(dòng)化系統(tǒng)的安全要求,其測試場景覆蓋度分析可基于以下分層維度展開:
動(dòng)態(tài)駕駛?cè)蝿?wù)執(zhí)行
特性:與系統(tǒng)設(shè)計(jì)運(yùn)行范圍(以下簡稱ODD)強(qiáng)關(guān)聯(lián),例如道路、目標(biāo)物、天氣環(huán)境等。
分析路徑:需獨(dú)立構(gòu)建測試場景庫,通過ODD要素組合驗(yàn)證功能邊界。
動(dòng)態(tài)駕駛?cè)蝿?wù)后援與人機(jī)交互
特性:以安全要求為導(dǎo)向,例如系統(tǒng)控制策略和提示信息。
分析路徑:可合并為一類,基于預(yù)設(shè)安全標(biāo)準(zhǔn)設(shè)計(jì)測試用例并評估覆蓋度。
2.1 動(dòng)態(tài)駕駛?cè)蝿?wù)執(zhí)行能力
基于系統(tǒng)的動(dòng)態(tài)駕駛?cè)蝿?wù)執(zhí)行能力驗(yàn)證,其測試場景覆蓋度分析流程主要包括“ODD元素覆蓋度分析”和“功能測試用例覆蓋度分析”兩條路徑,分析流程如圖1所示。

圖1 DDT執(zhí)行-測試場景覆蓋度分析流程
(1)ODD元素覆蓋度分析:ODD邊界條件與場景列表映射(即圖中①),針對ODD元素和功能場景元素匹配度,開展定性分析。若場景列表中場景元素可以全量覆蓋ODD,則ODD元素覆蓋度滿足要求;若場景列表中場景元素?zé)o法全量覆蓋ODD,則ODD元素覆蓋度不滿足要求。
(2)功能測試用例覆蓋度分析:功能描述與場景列表映射(即圖中②),針對系統(tǒng)的目標(biāo)和事件探測與響應(yīng)能力,結(jié)合系統(tǒng)ODD邊界和功能邊界的安全響應(yīng)措施,面向系統(tǒng)安全要求與測試用例的匹配度,開展定性分析。
○若具備相應(yīng)測試用例,則進(jìn)入下一步定量分析,判斷參數(shù)組合是否滿足“關(guān)鍵參數(shù)充分泛化”的原則。如是,則功能測試用例覆蓋度滿足要求;如不是,則功能測試用例覆蓋度不滿足要求。
○若不具備相應(yīng)測試用例,則功能測試用例覆蓋度不滿足要求。
針對(1)和(2)中覆蓋度不滿足的情況,需要進(jìn)一步補(bǔ)充設(shè)計(jì)測試用例。
2.2 動(dòng)態(tài)駕駛?cè)蝿?wù)后援和人機(jī)交互能力
基于系統(tǒng)的動(dòng)態(tài)駕駛?cè)蝿?wù)后援和人機(jī)交互能力驗(yàn)證,其測試場景覆蓋度分析流程如圖2所示。

圖2 DDT后援&HMI-測試場景覆蓋度分析流程
(1)根據(jù)系統(tǒng)安全要求描述,分解得到功能觸發(fā)條件與相應(yīng)的系統(tǒng)策略,其中系統(tǒng)策略包括“系統(tǒng)執(zhí)行的控制策略”和“對駕駛員的信息提示”兩方面;
(2)將安全要求與場景列表進(jìn)行映射,針對“觸發(fā)條件和系統(tǒng)策略”與測試用例的匹配度,開展定性分析。
○若具備相應(yīng)測試用例,則測試場景覆蓋度滿足要求;
○若不具備相應(yīng)測試用例,則測試場景覆蓋度不滿足要求。
針對(2)中覆蓋度不滿足的情況,需要結(jié)合(1)的分析結(jié)果,進(jìn)一步補(bǔ)充設(shè)計(jì)測試用例。
03測試場景要素參數(shù)組合
針對2.1動(dòng)態(tài)駕駛?cè)蝿?wù)執(zhí)行能力中“功能測試用例覆蓋度分析”階段,本文提出一種場景要素參數(shù)組合方法,為測試用例的定性/定量分析和補(bǔ)充設(shè)計(jì)提供參考。場景要素參數(shù)組合分析思路如圖3所示。

圖3 測試場景要素參數(shù)組合分析流程
首先,基于系統(tǒng)不同功能的功能需求和安全要求,篩選與待測功能強(qiáng)相關(guān)的ODD元素作為關(guān)鍵場景要素,通過測試矩陣的形式,得到功能測試場景;其次,定義場景要素關(guān)鍵參數(shù)(關(guān)鍵因子),即對安全要求影響較大的參數(shù),并確定場景要素類型和屬性,在系統(tǒng)設(shè)計(jì)運(yùn)行范圍內(nèi)取值并進(jìn)行排列組合,泛化形成具體測試場景。
賽目科技Safety Pro工具可泛化千萬個(gè)已知危險(xiǎn)場景和未知危險(xiǎn)場景,確保場景覆蓋度能支撐安全驗(yàn)證需求
在測試場景設(shè)計(jì)過程中,為驗(yàn)證智能網(wǎng)聯(lián)汽車產(chǎn)品在系統(tǒng)ODD和功能邊界范圍內(nèi)的動(dòng)態(tài)駕駛?cè)蝿?wù)執(zhí)行能力,以及探測和響應(yīng)系統(tǒng)邊界的能力,建議考慮以下幾點(diǎn)開展測試用例設(shè)計(jì):
(1)針對系統(tǒng)ODD邊界和功能邊界測試,場景的設(shè)計(jì)應(yīng)考慮待測系統(tǒng)對外部環(huán)境條件變化或場景要素狀態(tài)變化的響應(yīng)能力,從而驗(yàn)證系統(tǒng)達(dá)到ODD邊界或功能邊界時(shí)的控制策略。
(2)針對目標(biāo)物的識別測試,由于道路結(jié)構(gòu)對于系統(tǒng)的決策及控制策略有關(guān)鍵影響,因此為全面驗(yàn)證系統(tǒng)對其他道路使用者行為的響應(yīng)能力,應(yīng)基于不同道路結(jié)構(gòu)設(shè)計(jì)典型工況,結(jié)合交通參與者關(guān)鍵屬性,即“ODD要素+目標(biāo)物行為”的測試矩陣進(jìn)行綜合場景構(gòu)建。對于目標(biāo)物位置和行為的基礎(chǔ)分類示例如表1所示。
(3)針對關(guān)鍵因子選取,若關(guān)鍵場景要素類型中包含目標(biāo)物層級,則對應(yīng)的要素屬性還應(yīng)考慮行為特征參數(shù)取值,明確各要素間的相關(guān)性影響。

表1 目標(biāo)物要素關(guān)鍵屬性示例
基于上述方法論,以車道保持功能為例,按照“系統(tǒng)功能→關(guān)鍵場景要素→關(guān)鍵因子”的順序展開分析。
根據(jù)車道保持功能定義與ODD,確定關(guān)鍵場景要素為道路幾何、車道線或道路邊緣類型、交通參與者的狀態(tài)和行為,具體如表2所示。

表2 功能關(guān)鍵場景要素映射表
將測試場景中對安全要求影響較大的參數(shù)定義為關(guān)鍵因子,并確定場景要素關(guān)鍵參數(shù)取值范圍。
針對無目標(biāo)車干擾類測試,主要基于道路要素設(shè)計(jì)場景,以彎道無目標(biāo)車試驗(yàn)場景為例,選取彎道曲率半徑、彎道長度、車道線類型、車道線丟失情況、車道線丟失長度等參數(shù)作為關(guān)鍵因子;
針對目標(biāo)車輛干擾類測試,主要基于道路要素和交通參與者要素綜合構(gòu)建場景,以前方目標(biāo)車輛干擾試驗(yàn)為例,選取目標(biāo)車輛類型、目標(biāo)車輛初始速度、目標(biāo)車輛(轉(zhuǎn)向)橫向偏置距離、目標(biāo)車輛轉(zhuǎn)向/切出動(dòng)作持續(xù)時(shí)間等參數(shù)作為關(guān)鍵因子,測試矩陣如表3所示。

表3 邏輯場景要素參數(shù)組合示例
04測試場景覆蓋度量化評價(jià)方法
在第二章測試場景覆蓋度分析框架基礎(chǔ)上,本小節(jié)提出一種“層次分析法+加權(quán)求和法”的覆蓋度評價(jià)流程,如圖4所示。內(nèi)容主要包括:覆蓋度指標(biāo)分層、指標(biāo)層權(quán)重分配、單一指標(biāo)計(jì)算、綜合覆蓋度評估、場景覆蓋度評級等步驟,將覆蓋度從主觀分析描述轉(zhuǎn)化為可直觀呈現(xiàn)的量化指標(biāo),為測試場景集的動(dòng)態(tài)優(yōu)化及合規(guī)性認(rèn)證提供可量化的決策依據(jù)與實(shí)踐參考。

圖4 場景覆蓋度評價(jià)流程圖
(1)定義評語集:建立覆蓋度評語V={優(yōu),良,中,差} 共4個(gè)等級用于單一指標(biāo)和綜合結(jié)果評級。
(2)覆蓋度指標(biāo)分層:對測試場景覆蓋度建立層次分析模型,建立指標(biāo)集S={A,B , … ,n}。
(3)指標(biāo)層權(quán)重分配:構(gòu)建指標(biāo)矩陣,確定權(quán)重集W={W?,W? , … ,W?}。
(4)單一指標(biāo)計(jì)算:量化單一指標(biāo)覆蓋度,對于單一指標(biāo)分別計(jì)算其覆蓋程度。
(5)綜合覆蓋度評估:將單一指標(biāo)的覆蓋度按照權(quán)重分配合并,得到最終整體量化覆蓋度指標(biāo)。
4.1 覆蓋度評價(jià)分級
評語集是對各個(gè)指標(biāo)做出的評價(jià)結(jié)果所組成的集合,用于最后的評級。本文對覆蓋度進(jìn)行以下四個(gè)等級劃分,如表4所示。

表4 覆蓋度評價(jià)等級
4.2 確定指標(biāo)權(quán)值
模糊層次分析法(Fuzzy analytic hierarchy process,F(xiàn)AHP)是在傳統(tǒng)層次分析法(AHP)基礎(chǔ)上,結(jié)合模糊集理論發(fā)展而來的一種多準(zhǔn)則決策方法,它能夠有效處理決策問題中的不確定性和模糊性,廣泛應(yīng)用于學(xué)術(shù)研究和實(shí)際決策中。由于測試場景覆蓋度評估也是一個(gè)多指標(biāo)、多因素的評價(jià)問題,因此可以借鑒FAHP的思想來評估各個(gè)指標(biāo)的重要性,進(jìn)行指標(biāo)權(quán)重的分配與驗(yàn)證,具體流程如圖5所示。

圖5 FAHP分析流程圖
1、層次模型與指標(biāo)體系
將指標(biāo)體系劃分為S(目標(biāo)層)和A/B(指標(biāo)層)兩層,建立指標(biāo)集S={A,B},如圖6所示。

圖6 場景覆蓋度評價(jià)指標(biāo)體系層次結(jié)構(gòu)
2、模糊互補(bǔ)判斷矩陣
模糊層次分析法中,對同一層級的評價(jià)指標(biāo)兩兩比較判斷時(shí),采用一個(gè)因素比另一個(gè)因素的重要程度來定量表示??梢罁?jù)表5中0.1~0.9標(biāo)度法進(jìn)行數(shù)據(jù)標(biāo)度,得到模糊互補(bǔ)判斷矩陣

(i,j=1,2,…,n),其中r??為對角線上的元素,均為0.5,表示因素i與其自身相比同等重要,且r?? + r??=1。

表5 0.1~0.9標(biāo)度法
針對測試場景覆蓋度評價(jià)指標(biāo)層,根據(jù)以下權(quán)重分配原則,綜合考量構(gòu)建模糊互補(bǔ)矩陣,如公式(1)所示。
○安全關(guān)鍵性:哪個(gè)指標(biāo)下覆蓋的場景對安全更關(guān)鍵,則權(quán)重更高;
○分析成本:哪個(gè)指標(biāo)分析過程中考慮的因素更多,則權(quán)重更高;
○專家經(jīng)驗(yàn):基于領(lǐng)域知識判斷哪個(gè)指標(biāo)更能代表“真實(shí)覆蓋”,則權(quán)重更高。

公式(1)
3、權(quán)重向量
基于公式(1)的模糊互補(bǔ)判斷矩陣,可計(jì)算得到指標(biāo)層的權(quán)重向量,確定權(quán)重集W={W?,W? }。A的權(quán)重為W?,B的權(quán)重為W?,且W?+W?=1。權(quán)重公式如(2)所示。

公式(2)
式中,W ? 為因素 ? 的權(quán)重。
由公式(2)可計(jì)算得到指標(biāo)層的權(quán)重集W={0.35,0.65 },即W?=0.35,W?=0.65。
4、一致性檢驗(yàn)
為判斷根據(jù)公式(2)求得的權(quán)重值是否合理,利用模糊判斷矩陣的相容性指標(biāo)進(jìn)行一致性檢驗(yàn),其表達(dá)式如公式(3)所示。若相容性指標(biāo)值小于特定閾值α(一般取α=0.1),則可認(rèn)為判斷矩陣為滿意一致矩陣。α越小,表明決策者對模糊判斷矩陣的一致性要求越高。

公式(3)

公式(4)

公式(5)
式中:
Ι(R,W) ——判斷矩陣R與其特征矩陣W的相容性;
W?? ——特征矩陣元素;
W ——判斷矩陣R的特征矩陣。
根據(jù)公式(4)~(5)可構(gòu)建模糊互補(bǔ)判斷矩陣R的特征矩陣

由公式(3)可進(jìn)一步計(jì)算得到判斷矩陣與特征矩陣的相容度為 Ι(R,W) =0.075<0.1,因此可認(rèn)為將權(quán)重集W={0.35,0.65 }作為指標(biāo)層A和B的權(quán)重分配是合理的。
4.3覆蓋度評級
基于4.2中提出的場景覆蓋度評價(jià)指標(biāo)體系,本小節(jié)針對指標(biāo)A“ODD元素覆蓋度”和指標(biāo)B“功能測試用例覆蓋度”,采用百分制評分法對單一路徑進(jìn)行獨(dú)立量化評估。
4.3.1 ODD元素覆蓋度評級
參考GB/T 45312-2025《智能網(wǎng)聯(lián)汽車 自動(dòng)駕駛系統(tǒng)設(shè)計(jì)運(yùn)行條件》中關(guān)于ODD元素的分級規(guī)范,依據(jù)產(chǎn)品設(shè)計(jì)運(yùn)行條件的描述,對測試場景集中各場景元素進(jìn)行映射與匹配分析,并基于公式(6)和(7)分別計(jì)算各元素層級下的覆蓋度及整體ODD元素總覆蓋度。在此基礎(chǔ)上,可進(jìn)一步結(jié)合表1對計(jì)算結(jié)果實(shí)施二次分級評定,從而更直觀地反映ODD元素的覆蓋水平。

公式(6)

公式(7)
ODD元素覆蓋度評價(jià)矩陣如表6所示。

表6 ODD元素覆蓋度評價(jià)
4.3.2 功能測試用例覆蓋度評級
首先,面向系統(tǒng)功能和安全要求,篩選與待測功能強(qiáng)相關(guān)的ODD元素作為關(guān)鍵場景要素,通過測試矩陣的形式,得到功能測試場景(參考集合),對測試用例(輸入集合)的匹配度開展定性分析,本階段可定義為“功能關(guān)鍵場景覆蓋度”。
功能關(guān)鍵場景覆蓋度評價(jià)矩陣如表7所示。

表7 功能關(guān)鍵場景覆蓋度評價(jià)
其次,基于上一步篩選的關(guān)鍵場景要素及其屬性,定義場景要素關(guān)鍵參數(shù)(關(guān)鍵因子),即對安全要求影響較大的參數(shù),結(jié)合系統(tǒng)設(shè)計(jì)運(yùn)行范圍對功能關(guān)鍵測試場景中關(guān)鍵參數(shù)覆蓋程度開展定量分析,本階段可定義為“關(guān)鍵因子覆蓋度”。
關(guān)鍵因子覆蓋度評價(jià)矩陣如表8所示。

表8 關(guān)鍵因子覆蓋度評價(jià)
4.3.3 綜合覆蓋度評級
為量化不同指標(biāo)對整體場景覆蓋的貢獻(xiàn)度,需采用加權(quán)求和模型進(jìn)行綜合評估。該方法的核心思想是:通過單一指標(biāo)評分結(jié)果,再結(jié)合指標(biāo)權(quán)重進(jìn)行加權(quán)求和,得到綜合評分,從而實(shí)現(xiàn)對多路徑協(xié)同覆蓋效果的客觀量化。測試場景綜合覆蓋度計(jì)算方法如公式(8)所示。

公式(8)
式中:
S總——測試場景綜合覆蓋度;
W? ——因素 i 的權(quán)重,且∑W?=1;
A ——ODD元素覆蓋度;
B? ——功能關(guān)鍵場景覆蓋度;
B? ——關(guān)鍵因子覆蓋度。
05結(jié)語
本篇文章系統(tǒng)性構(gòu)建了智能網(wǎng)聯(lián)汽車測試場景覆蓋度解析框架,通過“動(dòng)態(tài)駕駛?cè)蝿?wù)執(zhí)行”“動(dòng)態(tài)駕駛?cè)蝿?wù)后援與人機(jī)交互”雙層分析架構(gòu),明確了覆蓋度評估的核心路徑。針對功能驗(yàn)證環(huán)節(jié),提出基于功能邏輯樹的三級映射模型——分解系統(tǒng)功能需求、提取關(guān)鍵場景要素、構(gòu)建參數(shù)組合矩陣,并以車道保持功能為實(shí)證對象完成場景參數(shù)空間建模。此外,針對覆蓋度分析框架進(jìn)一步采用線性加權(quán)合成模型將多維覆蓋度指標(biāo)整合為統(tǒng)一的綜合覆蓋度指數(shù),實(shí)現(xiàn)了對測試場景集的量化評價(jià)。該體系還支持權(quán)重動(dòng)態(tài)調(diào)整機(jī)制及評估路徑擴(kuò)展,能夠靈活適應(yīng)測試策略迭代需求。
本文研究成果為智能網(wǎng)聯(lián)汽車測試場景庫建設(shè)與優(yōu)化提供了理論支撐與方法論框架,對推動(dòng)駕駛自動(dòng)化系統(tǒng)安全驗(yàn)證的規(guī)范化發(fā)展具有重要實(shí)踐意義。未來,賽目科技還將面向不同等級駕駛自動(dòng)化系統(tǒng)功能的技術(shù)標(biāo)準(zhǔn)和規(guī)范,持續(xù)橫向擴(kuò)展測試場景集范圍,形成支撐型式認(rèn)證與技術(shù)準(zhǔn)入的測試基準(zhǔn)。
-
智能網(wǎng)聯(lián)汽車
+關(guān)注
關(guān)注
9文章
1260瀏覽量
31745 -
賽目科技
+關(guān)注
關(guān)注
0文章
56瀏覽量
1530
原文標(biāo)題:關(guān)于智能網(wǎng)聯(lián)汽車測試場景覆蓋度分析和評價(jià)方法的研究
文章出處:【微信號:gh_c85a8e3c0f2a,微信公眾號:賽目科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
PCIe協(xié)議分析儀能測試哪些設(shè)備?
智能網(wǎng)聯(lián)汽車的關(guān)鍵技術(shù)
智能網(wǎng)聯(lián)汽車的開發(fā)、測試場景如何搭建?
《智能網(wǎng)聯(lián)汽車自動(dòng)駕駛功能測試規(guī)范》正式發(fā)布
總投資18.96億元 國家智能網(wǎng)聯(lián)汽車測試區(qū)開園一周年
江蘇首條5G全覆蓋的智能網(wǎng)聯(lián)汽車公共測試道路通過評審
順義1200畝自動(dòng)駕駛封閉測試場首期道路設(shè)施和場景建設(shè)完成
智能網(wǎng)聯(lián)汽車自動(dòng)駕駛功能測試規(guī)程的詳細(xì)說明
智能網(wǎng)聯(lián)技術(shù)線路及測試方法詳細(xì)概述
智能網(wǎng)聯(lián)汽車大規(guī)模路測即將從測試場轉(zhuǎn)為全城范圍
自動(dòng)緊急制動(dòng)系統(tǒng)行人測試場景的研究
基于場景的智能網(wǎng)聯(lián)汽車模擬仿真測試評估方法與實(shí)踐
關(guān)于歐盟法規(guī)中測試場景的研究
自動(dòng)駕駛測試場景庫的構(gòu)建及評價(jià)方法之場景生成方法研究

智能網(wǎng)聯(lián)汽車測試場景覆蓋度分析
評論