[首發(fā)于智駕最前沿微信公眾號]場景理解這個詞聽起來可能有點(diǎn)深奧，但在自動駕駛里，它其實(shí)就是指車輛“看到周圍環(huán)境之后，能不能真正搞明白正在發(fā)生什么”。要把這個概念講清楚，不能只停留在感知系統(tǒng)能識別出多少物體，關(guān)鍵在于怎么把“看到的東西”轉(zhuǎn)化為“有用的信息”，讓決策和控制模塊能基于這些信息做出安全、可靠的行動。

圖片源自：網(wǎng)絡(luò)

場景理解到底是什么？為什么它這么重要？

所謂場景理解，就是把路面上所有能觀察到的信息整合起來，形成對當(dāng)前情境的“理解”。它不只是檢測出行人、車輛、車道線、交通標(biāo)志等個體信息，還要弄清楚這些對象之間的關(guān)系、它們接下來的可能動向，以及哪些信息對下一步?jīng)Q策最關(guān)鍵。比如說，前方有個騎車人靠邊行駛，場景理解系統(tǒng)要能判斷他是準(zhǔn)備停車、要轉(zhuǎn)彎，還是有可能會突然逆行；遇到復(fù)雜路口，它得識別信號燈狀態(tài)、理解各方行駛意圖，并判斷哪些軌跡是安全可行的。

想達(dá)成更好的場景理解效果，決策層所做的每一個動作，都要依賴于上層提供的抽象信息。感知系統(tǒng)只負(fù)責(zé)把像素或點(diǎn)云變成“事實(shí)”，但如果這些事實(shí)沒有被組織成“世界模型”并附帶“不確定性評估”，規(guī)劃模塊就可能基于錯誤或不穩(wěn)定的信息做決定，從而帶來危險(xiǎn)。一個好的場景理解系統(tǒng)，能夠把嘈雜、部分缺失甚至?xí)簳r(shí)矛盾的感知輸出，轉(zhuǎn)化成穩(wěn)定、連貫、并帶有置信度的語義信息，供規(guī)劃和控制模塊使用。

如何描述這個世界——表示學(xué)習(xí)與多層次語義

場景理解首先要解決的是“怎么把這個世界描述出來”的問題。傳感器輸出的圖像、點(diǎn)云、雷達(dá)回波、IMU數(shù)據(jù)都太原始、太低層，直接用來決策既低效又危險(xiǎn)。我們需要把它們抽象成適合自動駕駛的表示形式，這需要考慮多個維度。

空間幾何信息是基礎(chǔ)。物體的三維位置、速度、朝向和邊界框，是任何動作規(guī)劃都必需的信息?；谶@些數(shù)據(jù)可以做碰撞檢測、車道保持和速度控制。點(diǎn)云和立體視覺/深度信息是構(gòu)建幾何表示的主要來源，而視覺系統(tǒng)也可以通過多視角和神經(jīng)網(wǎng)絡(luò)來估計(jì)深度。

圖片源自：網(wǎng)絡(luò)

語義信息是更高一層的表達(dá)。把“這是一輛車/行人/自行車”升級為“這是一輛正在并線的貨車/一位推嬰兒車的行人/一輛停在路邊的網(wǎng)約車”，會直接影響系統(tǒng)對它的處理方式。語義需要更細(xì)致，要能把行為模式（比如勻速、加速、減速、轉(zhuǎn)頭觀察）也考慮進(jìn)來。

對象之間的關(guān)系與意圖也需要被表示出來。它們之間的相對位置、可能的遮擋關(guān)系、誰是相對被動的、誰具有較高危險(xiǎn)性，都是場景理解的重點(diǎn)。例如，一輛停在路邊的車打開了車門，這時(shí)“車門”和“相鄰行人”之間的關(guān)系，就比單獨(dú)的“門”這個對象重要得多。意圖則是對對象未來行為的概率化預(yù)測，通常不是給出一個確定的軌跡，而是提供幾種可能性及各自的置信度。

時(shí)間維度的表示也非常關(guān)鍵。交通場景不是靜態(tài)的，而是連續(xù)演變的過程。利用歷史軌跡來估計(jì)物體的慣性和行為模式，能提高對未來動向的預(yù)測準(zhǔn)確性。很多系統(tǒng)會把表示設(shè)計(jì)成時(shí)序圖、軌跡簇或隱狀態(tài)向量，這樣規(guī)劃模塊就能看到“這個行人過去幾秒是怎么移動的，從而推測他接下來可能做什么”。

還有就是多模態(tài)融合的表示。不同傳感器在不同條件下的可靠性不一樣，場景表示需要融合這些信息并體現(xiàn)不確定性。一個理想的表示，既包含精確的幾何信息，也包含高層的語義標(biāo)簽和概率化的不確定性描述，并且能在實(shí)時(shí)性限制下快速更新。

從數(shù)據(jù)到推理——學(xué)習(xí)、預(yù)測與邏輯推理的結(jié)合

有了合適的表示方式，下一步就是如何從數(shù)據(jù)中訓(xùn)練出能生成這些表示的系統(tǒng)，以及在推理時(shí)如何把學(xué)到的模式和邏輯規(guī)則結(jié)合起來。

圖片源自：網(wǎng)絡(luò)

在這個過程中，數(shù)據(jù)是基礎(chǔ)，但數(shù)據(jù)本身不等于理解。標(biāo)注好的數(shù)據(jù)可以訓(xùn)練出物體檢測、分割和軌跡預(yù)測模型，但真實(shí)世界的場景千變?nèi)f化，數(shù)據(jù)不足或存在偏差會導(dǎo)致模型在邊緣場景中失效。因此需要真實(shí)道路數(shù)據(jù)、仿真生成數(shù)據(jù)、合成數(shù)據(jù)，以及針對邊緣場景專門采集的數(shù)據(jù)等多源數(shù)據(jù)。自監(jiān)督學(xué)習(xí)和無監(jiān)督表示學(xué)習(xí)是降低對標(biāo)注依賴的方向，通過讓模型從未標(biāo)注的視頻中學(xué)習(xí)運(yùn)動一致性、物體恒常性等規(guī)律，可以提升泛化能力。

模型選擇與架構(gòu)設(shè)計(jì)將直接影響理解能力。端到端的大模型可以學(xué)習(xí)從像素到控制的映射，但缺點(diǎn)是可解釋性和可驗(yàn)證性差。模塊化架構(gòu)把感知、追蹤、預(yù)測、場景理解和決策分開，有利于工程化、故障排查和逐步驗(yàn)證。因此在很多系統(tǒng)中會采用混合方案，用深度學(xué)習(xí)完成感知與短期預(yù)測，再用符號規(guī)則、行為樹或基于模型的推理來處理安全相關(guān)約束和長期規(guī)劃。

不確定性建模是必不可少的。場景理解不能只給出一個確定的答案，還必須提供置信度和可能的替代解釋。貝葉斯方法、概率圖模型、蒙特卡洛采樣、基于高斯過程的預(yù)測，或者利用神經(jīng)網(wǎng)絡(luò)輸出分布（比如預(yù)測多個可能模式并給出權(quán)重），都是常用的手段。規(guī)劃層會根據(jù)這些不確定性來調(diào)整保守程度，如在不確定程度高的路口減速、擴(kuò)大安全距離。

因果推理和規(guī)則約束能提高系統(tǒng)的魯棒性。學(xué)習(xí)模型擅長捕捉統(tǒng)計(jì)相關(guān)性，但有時(shí)需要基于物理規(guī)律和交通規(guī)則來做判斷，比如在濕滑路面上剎車距離應(yīng)該更長，或者紅燈時(shí)在沒有特殊標(biāo)識的情況下不能右轉(zhuǎn)。把物理模型、交通法規(guī)和常識規(guī)則嵌入系統(tǒng)，可以在學(xué)習(xí)模型失靈時(shí)充當(dāng)“最后一道防線”。

在線學(xué)習(xí)與閉環(huán)更新也非常重要。車輛會遇到新的場景，系統(tǒng)需要能夠回收失敗樣本、進(jìn)行標(biāo)注并重新訓(xùn)練，或者采用更輕量的在線適應(yīng)方法快速調(diào)整模型。從工程角度看，這涉及到數(shù)據(jù)采集、標(biāo)注流程、仿真驗(yàn)證與部署策略，是場景理解體系能否持續(xù)改進(jìn)的關(guān)鍵。

工程實(shí)踐——實(shí)時(shí)性、魯棒性與可驗(yàn)證性

就算場景理解在理論上有完美的表示方式和優(yōu)秀的模型，要真正落地到車輛上，還必須面對嚴(yán)苛的工程約束。場景理解的核心之一，就是如何在有限的計(jì)算資源和嚴(yán)格的實(shí)時(shí)性要求下，做到既準(zhǔn)確又可驗(yàn)證。

實(shí)時(shí)性意味著系統(tǒng)必須在幾百毫秒甚至更短的時(shí)間內(nèi)完成感知、理解與預(yù)測，然后把結(jié)果交給規(guī)劃模塊。為此，表示方式和模型常常需要在工程上做折中，用稀疏表示來減少計(jì)算量，用候選采樣替代全空間搜索，用輕量級網(wǎng)絡(luò)做前置篩選，再把重點(diǎn)區(qū)域送到重模型做精細(xì)推理。硬件協(xié)同設(shè)計(jì)也很關(guān)鍵，把關(guān)鍵運(yùn)算放在專用加速器或車規(guī)級SoC上，能顯著提升吞吐量和能效。

圖片源自：網(wǎng)絡(luò)

想提升場景理解的魯棒性，就要讓自動駕駛系統(tǒng)能輕松應(yīng)對傳感器故障、惡劣天氣、遮擋和對抗情況等多種挑戰(zhàn)。傳感器降級策略、傳感器之間的冗余備份，以及基于模型的不確定性檢測，都能提升整體魯棒性。如果視覺系統(tǒng)在濃霧中失效，毫米波雷達(dá)和激光雷達(dá)可以提供幾何信息；如果某個傳感器丟包，系統(tǒng)要能快速切換到備用策略，并通知規(guī)劃層收緊安全邊界。

可驗(yàn)證性和可解釋性對安全至關(guān)重要。監(jiān)管和產(chǎn)品化都要求能夠證明系統(tǒng)在特定條件下是安全的。模塊化設(shè)計(jì)有利于形式化驗(yàn)證，可以把一些安全關(guān)鍵判斷轉(zhuǎn)化成可檢驗(yàn)的斷言（比如保持最小跟車距離），并用大量仿真和場景庫做覆蓋測試。同時(shí)，還需要建立故障日志和可追溯的診斷機(jī)制，當(dāng)場景理解出現(xiàn)錯誤判斷時(shí)，能快速定位是感知失誤、表示錯誤還是模型泛化問題。

仿真在工程實(shí)踐中發(fā)揮著巨大作用?，F(xiàn)實(shí)世界中難以收集所有罕見的邊緣場景，通過高保真仿真可以構(gòu)造復(fù)雜交互、極端天氣和危險(xiǎn)情況，驗(yàn)證系統(tǒng)的反應(yīng)。把仿真和真實(shí)數(shù)據(jù)結(jié)合起來，并將仿真生成的數(shù)據(jù)用于訓(xùn)練或測試，能加速場景理解能力的提升。

最后還要關(guān)注驗(yàn)證覆蓋率和數(shù)據(jù)分布偏差的問題。沒有任何系統(tǒng)能通過“所有場景”的驗(yàn)證，但可以采取風(fēng)險(xiǎn)優(yōu)先的方式，可以把驗(yàn)證資源投入到最危險(xiǎn)或最常見的失效模式上，建立一個動態(tài)更新的風(fēng)險(xiǎn)目錄，持續(xù)把新出現(xiàn)的問題納入訓(xùn)練和測試流程。

最后的話

場景理解的核心不是某一個單點(diǎn)技術(shù)，而是一組緊密耦合的能力，合適的世界表示、基于豐富數(shù)據(jù)與合理架構(gòu)的學(xué)習(xí)與推理、以及面向?qū)嶋H應(yīng)用的實(shí)時(shí)性、魯棒性與可驗(yàn)證性。它既需要深度學(xué)習(xí)的表達(dá)能力，也需要物理模型與規(guī)則的約束，還需要完善的數(shù)據(jù)閉環(huán)來持續(xù)改進(jìn)。

對工程團(tuán)隊(duì)來說，場景理解是一項(xiàng)長期的、需要分階段推進(jìn)的工作。每一次對表示的優(yōu)化、每一類邊緣場景的數(shù)據(jù)補(bǔ)采、每一次驗(yàn)證覆蓋率的提升，都會直接改善車輛在真實(shí)道路上的表現(xiàn)。把“看見”變成“理解”，再把“理解”轉(zhuǎn)化為“可靠行動”，這是自動駕駛安全落地的核心路徑。

審核編輯 黃宇