[首發(fā)于智駕最前沿微信公眾號]在談自動(dòng)駕駛技術(shù)的時(shí)候，“中間表達(dá)”是一個(gè)經(jīng)常出現(xiàn)的詞。相較于熟知的激光雷達(dá)、車載攝像頭、毫米波雷達(dá)等硬件，亦或是大模型、端到端、算法等軟件層面的概念，“中間表達(dá)”這個(gè)詞相對比較抽象，那中間表達(dá)到底是個(gè)啥？它有什么作用？

什么是中間表達(dá)？

要理解“中間表達(dá)”，我們可以從系統(tǒng)處理的信息特點(diǎn)一步步展開來看。在自動(dòng)駕駛系統(tǒng)里，傳感器提供的數(shù)據(jù)形式非常多樣，攝像頭輸出彩色圖像；激光雷達(dá)給出三維點(diǎn)云；毫米波雷達(dá)提供目標(biāo)距離和速度信息；GPS和慣性測量裝置給出位置和運(yùn)動(dòng)狀態(tài)。這些原始數(shù)據(jù)雖然包含了場景所有的細(xì)節(jié)，但它們大而雜，難以直接用于決策。因此，系統(tǒng)就必須把這些原始輸入轉(zhuǎn)化成更便于推理和利用的信息。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，車輛要從各種傳感器拿到大量的原始數(shù)據(jù)，這些數(shù)據(jù)本身并不能直接用來做決策，它需要經(jīng)過一系列的處理，才會(huì)成為既準(zhǔn)確又可用的信息。這些處理之后的、介于原始數(shù)據(jù)和最終駕駛決策之間的數(shù)據(jù)或信息，就是我們說的“中間表達(dá)”。

圖片源自：網(wǎng)絡(luò)

舉個(gè)例子，從傳感器圖像和點(diǎn)云里識別出的一條車道線的位置、一輛后面車輛的相對速度和距離、一個(gè)紅綠燈當(dāng)前狀態(tài)等都是中間表達(dá)。它們比原始像素和點(diǎn)坐標(biāo)更具意義，但還不是最終的控制指令。它們相當(dāng)于系統(tǒng)對眼前世界的“理解和總結(jié)”。通過把原始數(shù)據(jù)轉(zhuǎn)換成這些表達(dá)，自動(dòng)駕駛系統(tǒng)可以把注意力集中在對行駛有實(shí)際影響的環(huán)境要素上，減少對無關(guān)細(xì)節(jié)的處理和依賴。

中間表達(dá)有時(shí)也被稱為中間表示，這與計(jì)算機(jī)科學(xué)中編譯器里使用的中間語言概念有相似性，它們都是在原始輸入和最終輸出之間的一種中間層，用來提高整個(gè)流程的效率和可分析性。對于自動(dòng)駕駛來說，一個(gè)好的中間表達(dá)必須能夠在不丟失關(guān)鍵信息的前提下，使得后續(xù)模塊可以更容易、更準(zhǔn)確地做出預(yù)測和規(guī)劃。

簡而言之，中間表達(dá)在自動(dòng)駕駛系統(tǒng)里擔(dān)負(fù)著把原始數(shù)據(jù)加工成更有意義的信息的職責(zé)。它的形式多種多樣，可以是二維場景的語義描述、也可以是三維空間里物體的位置信息、更可以是對未來行為的預(yù)測。它既比原始感知數(shù)據(jù)更精煉，也比最終的控制輸出更接近對環(huán)境的理解。

中間表達(dá)在不同架構(gòu)中的角色

自動(dòng)駕駛系統(tǒng)有不同的實(shí)現(xiàn)架構(gòu)，它們對中間表達(dá)的定義和使用也有細(xì)微差別。在傳統(tǒng)的模塊化系統(tǒng)中，中間表達(dá)會(huì)被顯式地定義和傳遞。一個(gè)模塊輸出的中間表達(dá)會(huì)作為下一個(gè)模塊的輸入，這樣的信息流是清晰的可觀察的，這種設(shè)計(jì)也讓自動(dòng)駕駛系統(tǒng)更容易調(diào)試、驗(yàn)證和優(yōu)化。

在這種架構(gòu)里，感知模塊輸出的中間表達(dá)既包括靜態(tài)特征（如車道線、障礙物位置），也包括動(dòng)態(tài)特征（如物體運(yùn)動(dòng)速度、變化趨勢）。這些信息通過標(biāo)準(zhǔn)格式傳遞給預(yù)測模塊，由預(yù)測模塊根據(jù)這些信息判斷未來一段時(shí)間內(nèi)場景的變化。緊接著，規(guī)劃模塊會(huì)根據(jù)預(yù)測結(jié)果確定車輛下一步安全且合理的軌跡。在模塊化系統(tǒng)里，中間表達(dá)是約定好的信息形式，能讓各個(gè)模塊獨(dú)立開發(fā)、獨(dú)立測試。由于模塊化設(shè)計(jì)可以檢查某個(gè)環(huán)節(jié)的中間輸出是不是出了問題，如果感知輸出錯(cuò)誤，那么預(yù)測、規(guī)劃自然也會(huì)受到影響，因此，這樣的設(shè)計(jì)也便于定位具體的故障點(diǎn)。

圖片源自：網(wǎng)絡(luò)

現(xiàn)階段，端到端的應(yīng)用非常普遍，這類系統(tǒng)試圖跳過顯式中間模塊，把傳感器輸入直接映射到控制輸出。這種方式在某些場景下可以減少手工設(shè)計(jì)的復(fù)雜性，但它也帶來了可解釋性差的問題。端到端系統(tǒng)的內(nèi)部處理過程會(huì)被隱藏在一個(gè)整體的神經(jīng)網(wǎng)絡(luò)模型里，如果沒有明確的中間表達(dá)，就很難得知系統(tǒng)是基于什么具體環(huán)境特征做出某個(gè)決策的。這種黑箱式的決策對安全驗(yàn)證和調(diào)試非常不利。

為了兼顧端到端學(xué)習(xí)的靈活性和系統(tǒng)的可解釋性，有技術(shù)提出了“二段式端到端”的方法。在這種架構(gòu)里，網(wǎng)絡(luò)首先學(xué)習(xí)把原始輸入轉(zhuǎn)換成一種對駕駛決策友好的中間表達(dá)，然后再用這種中間表達(dá)生成控制指令。舉個(gè)例子，系統(tǒng)可以先生成一張語義鳥瞰圖和一組預(yù)測軌跡點(diǎn)作為中間表達(dá)，再用這些信息生成最終的控制輸出。這種方式既保持了端到端學(xué)習(xí)的優(yōu)勢，又通過顯式的中間表達(dá)提高了模型的可解釋性和系統(tǒng)的可靠性。

中間表達(dá)的常見形式及作用

要更好地理解中間表達(dá)，可以看看它在系統(tǒng)中有哪些具體形式，以及這些形式為什么對系統(tǒng)有用。不同的中間表達(dá)承載的信息側(cè)重點(diǎn)并不一樣，但它們共同的目標(biāo)是把傳感器信息變成對后續(xù)任務(wù)更有幫助的數(shù)據(jù)。

一種常見的中間表達(dá)是幾何語義類。這種表達(dá)描述的是環(huán)境的空間結(jié)構(gòu)，像是道路的幾何形狀、車道線的位置、路緣的位置、車輛和行人的邊界框等就屬于這種表達(dá)。這些數(shù)據(jù)本質(zhì)上回答了“周圍有什么”和“它們在哪里”的問題。對于規(guī)劃模塊來說，理解這些幾何信息是決定車輛可通行空間和路徑的基礎(chǔ)。

還有一種中間表達(dá)是語義理解類，像是交通標(biāo)志、紅綠燈狀態(tài)、道路類型等信息就屬于語義理解類的中間表達(dá)。這樣的表達(dá)幫助系統(tǒng)在路徑選擇和行為決策時(shí)理解場景語義。如果系統(tǒng)知道前方是紅燈而不是綠燈，它就會(huì)停下而不是繼續(xù)前進(jìn)，這種信息是語義性的，而不是純粹的幾何數(shù)據(jù)。

還有更高級的中間表達(dá)會(huì)包含動(dòng)態(tài)預(yù)測類信息，它不僅描述當(dāng)前環(huán)境，還可預(yù)測未來環(huán)境可能的變化。如系統(tǒng)會(huì)根據(jù)當(dāng)前車速和運(yùn)動(dòng)方向來預(yù)測前方車輛在未來幾秒內(nèi)可能的位置。這樣的預(yù)測結(jié)果會(huì)和概率結(jié)合在一起，成為規(guī)劃模塊做決策的重要參考。如果不對動(dòng)態(tài)信息進(jìn)行預(yù)測，車輛就只能根據(jù)當(dāng)前瞬間狀態(tài)做決策，會(huì)讓自動(dòng)駕駛系統(tǒng)失去對未來風(fēng)險(xiǎn)的洞察。

上述這些中間表達(dá)的設(shè)計(jì)和選用，并不是隨意的，而是基于自動(dòng)駕駛在實(shí)際道路上運(yùn)行所需的核心判斷能力所決定的。好的中間表達(dá)能讓系統(tǒng)在復(fù)雜、動(dòng)態(tài)變化的道路環(huán)境中做出更準(zhǔn)確、更安全的決策。

為什么關(guān)注中間表達(dá)對自動(dòng)駕駛很重要

理解了中間表達(dá)，就有助于深入認(rèn)識自動(dòng)駕駛系統(tǒng)的本質(zhì)。不是簡單把攝像頭或雷達(dá)數(shù)據(jù)扔進(jìn)一個(gè)大模型里，就能自動(dòng)得出駕駛指令。系統(tǒng)需要把原始數(shù)據(jù)轉(zhuǎn)化成能表達(dá)環(huán)境狀態(tài)的信息，再基于這種表達(dá)去預(yù)測、規(guī)劃和控制。中間表達(dá)不僅是工程實(shí)現(xiàn)的信息橋梁，也是性能和安全保障的基石。

在模塊化設(shè)計(jì)里，中間表達(dá)讓各個(gè)階段的功能更清晰、更容易驗(yàn)證。如果某個(gè)表達(dá)在某種場景下表現(xiàn)不穩(wěn)定，就可以針對這一環(huán)節(jié)進(jìn)行優(yōu)化。這種清晰的分層還利于和傳統(tǒng)的控制理論結(jié)合，從而提高自動(dòng)駕駛系統(tǒng)整體的魯棒性和可控性。

圖片源自：網(wǎng)絡(luò)

在學(xué)習(xí)驅(qū)動(dòng)方法中，明確的中間表達(dá)可以提供更豐富的監(jiān)督信號，不僅可以讓模型學(xué)會(huì)控制，還能讓其正確理解場景。比如在訓(xùn)練階段，人們可以用帶有標(biāo)簽的中間表達(dá)作為額外約束，避免模型只關(guān)注最終控制結(jié)果而忽略對場景本身的正確認(rèn)識。

中間表達(dá)的重要性還體現(xiàn)在自動(dòng)駕駛的安全性評估上。因?yàn)樽詣?dòng)駕駛系統(tǒng)需要通過大量測試和驗(yàn)證才能投入實(shí)際道路運(yùn)營，明確的表達(dá)能讓測試覆蓋更多的極端情況，并且更容易診斷出系統(tǒng)在某類場景下的弱點(diǎn)。

最終的話

中間表達(dá)是自動(dòng)駕駛系統(tǒng)內(nèi)部非常核心的一類信息結(jié)構(gòu)，它連接了感知層和決策層，是整個(gè)系統(tǒng)能理解環(huán)境并做出正確判斷的關(guān)鍵。在不同的技術(shù)架構(gòu)里，中間表達(dá)的形式和作用略有差異，但它們都承擔(dān)著把海量、原始的傳感器數(shù)據(jù)轉(zhuǎn)化為對未來行為有意義的信息的任務(wù)。理解中間表達(dá)，有助于理解自動(dòng)駕駛技術(shù)的設(shè)計(jì)邏輯、性能邊界以及工程實(shí)現(xiàn)方式。隨著自動(dòng)駕駛技術(shù)的不斷發(fā)展，中間表達(dá)的設(shè)計(jì)和優(yōu)化依然是需要持續(xù)關(guān)注的重要方向。

審核編輯 黃宇