[首發(fā)于智駕最前沿微信公眾號(hào)]談到自動(dòng)駕駛，大家的第一反應(yīng)就是自動(dòng)駕駛系統(tǒng)“能不能把車(chē)開(kāi)穩(wěn)”，看似非常簡(jiǎn)單的一個(gè)目標(biāo)，其背后其實(shí)是對(duì)系統(tǒng)能否在各種現(xiàn)實(shí)場(chǎng)景下作出正確、可預(yù)期決策的一項(xiàng)嚴(yán)格要求。為了能讓自動(dòng)駕駛汽車(chē)做出正確、安全且符合邏輯的行駛動(dòng)作，端到端大模型被提了出來(lái)。

端到端大模型把從傳感器輸入到控制輸出的任務(wù)盡可能用一個(gè)大網(wǎng)絡(luò)來(lái)完成，其優(yōu)點(diǎn)是能夠直接學(xué)習(xí)復(fù)雜映射，省去繁瑣的中間模塊，但代價(jià)是系統(tǒng)的行為變得更難以完全預(yù)測(cè)和驗(yàn)證，也就是出現(xiàn)了“不確定性”。所謂“不確定性”，就是指在面對(duì)同一輸入或相似場(chǎng)景時(shí)，模型可能給出模糊、搖擺、或錯(cuò)誤的輸出，并且我們對(duì)這種錯(cuò)誤的發(fā)生概率或根源難以給出量化的解釋。自動(dòng)駕駛端到端大模型為什么會(huì)有不確定性？

端到端大模型的不確定性到底是什么

“不確定性”這個(gè)詞聽(tīng)起來(lái)抽象，但拆開(kāi)來(lái)其實(shí)很好理解。對(duì)于端到端大模型來(lái)說(shuō)，其一部分不確定性來(lái)自數(shù)據(jù)本身，有些場(chǎng)景天生難以判定，下大雨時(shí)遠(yuǎn)處的物體輪廓模糊，夜間強(qiáng)逆光會(huì)把行人和背景融成一片，這類(lèi)情況即便人也會(huì)猶豫，這類(lèi)不可避免的噪聲叫做統(tǒng)計(jì)噪聲或“不可約的噪聲”。還有一類(lèi)不確定性來(lái)自模型知識(shí)的不足，比如訓(xùn)練數(shù)據(jù)沒(méi)覆蓋到的某些極端或罕見(jiàn)場(chǎng)景，模型在這些“從未見(jiàn)過(guò)”的輸入上往往會(huì)表現(xiàn)得自信卻錯(cuò)得離譜，這就是模型的“認(rèn)知盲區(qū)”。在技術(shù)角度中常把這兩類(lèi)分別稱(chēng)為“aleatoric uncertainty”（數(shù)據(jù)本身的隨機(jī)性）和“epistemic uncertainty”（模型知識(shí)有限導(dǎo)致的不確定性）。端到端大模型的“不確定性”同時(shí)包含這兩部分，而且還會(huì)被模型架構(gòu)、大樣本偏差、訓(xùn)練目標(biāo)、優(yōu)化不穩(wěn)定性等因素放大。

端到端模型的輸出往往不是“一個(gè)明確的動(dòng)作”那么簡(jiǎn)單，而是一個(gè)概率分布或直接映射到控制量的連續(xù)值。如果模型的概率估計(jì)本身不靠譜（即所謂“誤校準(zhǔn)”），系統(tǒng)可能對(duì)低置信度但實(shí)際危險(xiǎn)的決策表現(xiàn)出過(guò)度自信。還有一個(gè)關(guān)鍵點(diǎn)是時(shí)序閉環(huán)，自動(dòng)駕駛不是靜態(tài)把一幀圖像做分類(lèi)然后結(jié)束，而是連續(xù)決策、車(chē)輛動(dòng)作反饋到環(huán)境再生成新的輸入，錯(cuò)誤會(huì)累積放大，導(dǎo)致原本小概率的偏差演變?yōu)閲?yán)重后果。因此，端到端模型的不確定性不是單幀問(wèn)題，而是閉環(huán)系統(tǒng)級(jí)的風(fēng)險(xiǎn)來(lái)源。

為什么端到端架構(gòu)更容易暴露或放大不確定性

把感知、預(yù)測(cè)、規(guī)劃、控制都?jí)涸谝粋€(gè)大網(wǎng)絡(luò)上看似能讓效率得到提升，但會(huì)帶來(lái)諸多挑戰(zhàn)，從而放大不確定性。第一個(gè)是可解釋性差。在模塊化系統(tǒng)里，當(dāng)車(chē)偏離軌跡，你可以追查是感知漏檢、軌跡預(yù)測(cè)偏移，還是控制執(zhí)行延遲；而端到端模型的內(nèi)部表示是高維且難以直觀解釋的，當(dāng)出問(wèn)題時(shí)工程師難以定位故障根源，進(jìn)而難以有針對(duì)性地修復(fù)。第二個(gè)是驗(yàn)證難度增加。傳統(tǒng)模塊各自有明確定義和指標(biāo)（比如檢測(cè)的召回率、預(yù)測(cè)的軌跡誤差），可以逐項(xiàng)驗(yàn)證；端到端模型的整體性能好壞更多依賴(lài)“端到端場(chǎng)景覆蓋”，單靠統(tǒng)計(jì)指標(biāo)很難證明在所有長(zhǎng)尾場(chǎng)景下安全。第三個(gè)是數(shù)據(jù)需求極大且對(duì)分布依賴(lài)強(qiáng)。端到端模型需要海量、覆蓋面廣的樣本來(lái)學(xué)習(xí)“從像素到操作”的映射，訓(xùn)練集與實(shí)際運(yùn)行環(huán)境一旦發(fā)生偏差（分布漂移），模型表現(xiàn)可能驟降。第四個(gè)是過(guò)度自信的風(fēng)險(xiǎn)，深度模型在沒(méi)有適當(dāng)不確定性估計(jì)時(shí)，往往會(huì)對(duì)錯(cuò)誤的輸出給出高置信度，這在安全關(guān)鍵系統(tǒng)中非常危險(xiǎn)。

端到端模型往往優(yōu)化的是一個(gè)經(jīng)驗(yàn)風(fēng)險(xiǎn)（例如平均損失），這會(huì)導(dǎo)致端到端大模型在常見(jiàn)場(chǎng)景上表現(xiàn)極好，而那些一旦出錯(cuò)后果嚴(yán)重但出現(xiàn)概率低的場(chǎng)景表現(xiàn)就會(huì)足部。自動(dòng)駕駛的風(fēng)險(xiǎn)不是均勻分布在所有場(chǎng)景上，長(zhǎng)尾場(chǎng)景（復(fù)雜路口、極端天氣、異常道路設(shè)施等）雖少見(jiàn)卻更危險(xiǎn)，因此單純優(yōu)化平均指標(biāo)會(huì)低估真實(shí)安全風(fēng)險(xiǎn)。

不確定性會(huì)給自動(dòng)駕駛帶來(lái)哪些具體影響

端到端大模型的不確定性會(huì)在多個(gè)層面影響自動(dòng)駕駛系統(tǒng)的安全性、用戶(hù)體驗(yàn)和部署成本。端到端模型在未見(jiàn)或模糊場(chǎng)景中可能做出錯(cuò)誤轉(zhuǎn)向或加速?zèng)Q策，而如果系統(tǒng)沒(méi)有可靠的置信度估計(jì)和安全接管策略，這類(lèi)錯(cuò)誤可能直接導(dǎo)致碰撞或事故。

行為的不可預(yù)測(cè)性也會(huì)降低公眾與監(jiān)管機(jī)構(gòu)的信任。即便平均事故率低，若偶發(fā)事件難以解釋?zhuān)O(jiān)管方、車(chē)主乃至公眾都會(huì)對(duì)系統(tǒng)安全性提出質(zhì)疑，從而影響上路許可和商業(yè)化推進(jìn)。還有就是運(yùn)營(yíng)和維護(hù)成本增加。不確定性意味著需要大量的實(shí)地?cái)?shù)據(jù)采集、回放分析、補(bǔ)數(shù)據(jù)標(biāo)注，以及更頻繁的軟件更新和回歸測(cè)試，這些都會(huì)顯著增加長(zhǎng)期投入。

對(duì)于用戶(hù)體驗(yàn)來(lái)說(shuō)，不確定性通常表現(xiàn)為車(chē)輛行為不夠連貫或者過(guò)分保守。為了避免事故，系統(tǒng)可能在不確定時(shí)傾向剎車(chē)或降速，這會(huì)讓乘客感覺(jué)自動(dòng)駕駛汽車(chē)開(kāi)起來(lái)“優(yōu)柔寡斷”、影響舒適性和通行效率?；蛘咴诹硪恍┎淮_定情況下系統(tǒng)又過(guò)于自信、不做必要的減速或避讓?zhuān)@種“自信卻錯(cuò)誤”的行為反而更危險(xiǎn)。對(duì)商業(yè)化產(chǎn)品來(lái)說(shuō)，既不能太保守以至影響使用體驗(yàn)，也不能魯莽，這中間的平衡需要對(duì)不確定性有精細(xì)的量化和工程控制。

有哪些方法可以測(cè)量和估計(jì)不確定性？

既然端到端大模型的不確定性一定會(huì)存在，那是否有量化和監(jiān)測(cè)不確定性的方法？其實(shí)有多個(gè)方法可以測(cè)量。其一是基于模型的概率輸出做校準(zhǔn)檢測(cè)，例如通過(guò)期望校準(zhǔn)誤差（ECE）來(lái)判斷模型給出的置信度與實(shí)際正確率是否匹配。如果不匹配，就說(shuō)明輸出概率不可信。其二是使用集成或貝葉斯方法估計(jì)epistemic uncertainty。較為簡(jiǎn)單方式是模型集成，通過(guò)訓(xùn)練多個(gè)模型或使用不同隨機(jī)種子和數(shù)據(jù)子集，觀察輸出分歧，分歧越大說(shuō)明模型知識(shí)越不確定。更正式的做法有貝葉斯神經(jīng)網(wǎng)絡(luò)、貝葉斯近似（例如MC Dropout）等，它們能給出后驗(yàn)不確定性估計(jì)。其三是開(kāi)發(fā)專(zhuān)門(mén)的異常檢測(cè)或脫域檢測(cè)模塊來(lái)識(shí)別與訓(xùn)練分布差異較大的輸入。這類(lèi)方法可以在在線運(yùn)行時(shí)提供“我不認(rèn)識(shí)這個(gè)場(chǎng)景”的警告。其四是直接訓(xùn)練模型輸出不確定性量化，如深度證據(jù)學(xué)習(xí)或?qū)W習(xí)輸出分布參數(shù)（例如回歸時(shí)同時(shí)預(yù)測(cè)均值和方差），從而把不確定性?xún)?nèi)嵌在模型輸出中。

不過(guò)要注意的是，測(cè)不等于可用。很多不確定性估計(jì)在學(xué)術(shù)數(shù)據(jù)集上表現(xiàn)良好，但在真實(shí)車(chē)輛的動(dòng)態(tài)閉環(huán)下會(huì)出現(xiàn)失準(zhǔn)。因此除了采用這些估計(jì)手段，還需要有系統(tǒng)級(jí)評(píng)估，驗(yàn)證這些估計(jì)在實(shí)際運(yùn)行中的可靠性和對(duì)安全決策的幫助程度。

決策與控制如何處理不確定性信息？

即便能估計(jì)不確定性，對(duì)于自動(dòng)駕駛來(lái)說(shuō)的核心問(wèn)題仍然是把這個(gè)信息合理地傳遞給決策與控制。簡(jiǎn)單直接的辦法是讓規(guī)劃器把不確定性視為額外的“成本”或風(fēng)險(xiǎn)項(xiàng)，當(dāng)感知或預(yù)測(cè)置信度下降時(shí)，規(guī)劃器就執(zhí)行更保守的軌跡、減速或拉開(kāi)橫向間距。這種做法能在很多情況下減少事故發(fā)生概率，但也可能帶來(lái)效率下降。在更系統(tǒng)化的框架里，可以把駕駛看作部分可觀測(cè)馬爾可夫決策過(guò)程（POMDP），用貝葉斯濾波器維護(hù)一個(gè)“信念狀態(tài)”，并在規(guī)劃時(shí)同時(shí)考慮狀態(tài)的不確定性和目標(biāo)的收益/風(fēng)險(xiǎn)權(quán)衡。雖然理論上完整的POMDP求解能兼顧不確定性和決策，但在現(xiàn)實(shí)車(chē)輛上計(jì)算量大且實(shí)現(xiàn)復(fù)雜，因此常用近似方法或使用模型預(yù)測(cè)控制（MPC）結(jié)合不確定性邊界來(lái)做風(fēng)險(xiǎn)控制。

當(dāng)然，不管決策多復(fù)雜，都應(yīng)當(dāng)內(nèi)置一套例如限制最大橫擺角速度、緊急停車(chē)的最小安全距離等硬性安全約束。即便主模型出現(xiàn)錯(cuò)誤，這些硬性規(guī)則可以在極端情況下接管，形成所謂的運(yùn)行時(shí)保障（runtime assurance）。在混合架構(gòu)中常見(jiàn)的做法是把端到端模型作為建議器，而讓傳統(tǒng)控制或規(guī)則模塊作為最終的安全過(guò)濾器。

如何緩解端到端大模型的不確定性？

想緩解端到端大模型的不確定性需要從數(shù)據(jù)、訓(xùn)練、架構(gòu)和運(yùn)行四個(gè)維度同時(shí)入手。在數(shù)據(jù)層面，要系統(tǒng)地構(gòu)建覆蓋長(zhǎng)尾場(chǎng)景的數(shù)據(jù)集，不僅要被動(dòng)收集，還要采用主動(dòng)學(xué)習(xí)策略定向采集高風(fēng)險(xiǎn)或高不確定性的場(chǎng)景。合成數(shù)據(jù)和域隨機(jī)化也是補(bǔ)充手段，可以在模擬環(huán)境中生成稀有極端條件，緩解現(xiàn)實(shí)數(shù)據(jù)難以覆蓋的問(wèn)題。在訓(xùn)練層面，可以引入不確定性感知的損失函數(shù)、證據(jù)學(xué)習(xí)、或多任務(wù)學(xué)習(xí)來(lái)讓模型在輸出時(shí)攜帶不確定性信息，提升模型在罕見(jiàn)場(chǎng)景下的魯棒性。

在架構(gòu)上，可以嘗試選擇混合方案，把端到端網(wǎng)絡(luò)與模塊化子系統(tǒng)結(jié)合，或者采用“端到端+模塊化”的并行方案，這樣不僅可以保持端到端模型的學(xué)習(xí)優(yōu)勢(shì)，同時(shí)可以保留傳統(tǒng)感知/定位/規(guī)劃模塊作為校驗(yàn)或冗余。還可以在車(chē)端部署輕量級(jí)的不確定性檢測(cè)器與規(guī)則性安全網(wǎng)，一旦檢測(cè)到高不確定性，立即切換到保守策略或請(qǐng)求遠(yuǎn)端服務(wù)（若車(chē)云協(xié)同可行）。在運(yùn)行時(shí)，要有完備的監(jiān)控與回放體系，把所有高不確定性和異常情況記錄下來(lái)，用于離線分析和針對(duì)性數(shù)據(jù)補(bǔ)充。

最后的話

不確定性并非端到端模型的“致命病”，而是通向成熟自動(dòng)駕駛必須面對(duì)的現(xiàn)實(shí)。對(duì)于這一問(wèn)題的關(guān)鍵在于不要把模型當(dāng)作黑箱，而要把不確定性作為設(shè)計(jì)變量，有目的地測(cè)量、傳遞并在決策層面做出合理的風(fēng)險(xiǎn)權(quán)衡。通過(guò)數(shù)據(jù)策略、混合架構(gòu)、實(shí)時(shí)監(jiān)控和形式化的安全約束，逐步把“未知的風(fēng)險(xiǎn)”變成“可管理的風(fēng)險(xiǎn)”。

審核編輯 黃宇