[首發(fā)于智駕最前沿微信公眾號(hào)]自動(dòng)駕駛的發(fā)展并非一成不變，在傳統(tǒng)自動(dòng)駕駛系統(tǒng)中，通常采用分層的體系架構(gòu)。最底層是感知層，負(fù)責(zé)將攝像頭、雷達(dá)、激光雷達(dá)等傳感器數(shù)據(jù)轉(zhuǎn)化為車(chē)輛能夠“看到”的環(huán)境信息；其上是跟蹤與狀態(tài)估計(jì)層，負(fù)責(zé)在時(shí)間維度關(guān)聯(lián)感知結(jié)果，推斷目標(biāo)的速度與運(yùn)動(dòng)趨勢(shì)；預(yù)測(cè)層則基于當(dāng)前狀態(tài)，估計(jì)其他道路使用者的未來(lái)可能軌跡；決策與路徑規(guī)劃層綜合所有信息，生成車(chē)輛執(zhí)行的行動(dòng)策略；最后，控制層將規(guī)劃結(jié)果轉(zhuǎn)化為具體的油門(mén)、剎車(chē)和轉(zhuǎn)向指令。

這種結(jié)構(gòu)化設(shè)計(jì)具有顯著優(yōu)勢(shì)，每一層在延遲、可靠性和驗(yàn)證方式上要求不同，分層使得模塊可獨(dú)立優(yōu)化、便于問(wèn)題定位。如傳感器異常可回溯至感知層排查，控制環(huán)路不穩(wěn)可對(duì)控制器單獨(dú)壓力測(cè)試。模塊化還允許在關(guān)鍵閉環(huán)中使用已嚴(yán)格驗(yàn)證的算法，而將依賴常識(shí)推理的任務(wù)交給更靈活的模型處理，從而兼顧實(shí)時(shí)控制的安全性與語(yǔ)義層面的智能判斷。

除了結(jié)構(gòu)化的架構(gòu)外，端到端的概念被越來(lái)越多企業(yè)多推崇。所謂端到端，就是把感知到控制盡可能用大模型學(xué)習(xí)出來(lái)。端到端理論上可以減少模塊之間的誤差累積，學(xué)出的行為可能更連貫、更“自然”。但這種路徑帶來(lái)的問(wèn)題也很明顯，可解釋性差，驗(yàn)證起來(lái)很難，而且需要極大量、極多樣的數(shù)據(jù)來(lái)覆蓋各種罕見(jiàn)場(chǎng)景。因此在實(shí)際的技術(shù)方案中，會(huì)在最需要確定性的地方保留傳統(tǒng)可驗(yàn)證方法，而在需要語(yǔ)義理解或大范圍推理的地方引入更靈活的模型。

語(yǔ)言模型放進(jìn)自動(dòng)駕駛有何作用？

語(yǔ)言模型擅長(zhǎng)處理和生成語(yǔ)言、能做基于大規(guī)模語(yǔ)料的推理和常識(shí)補(bǔ)全，把它用在自動(dòng)駕駛里，多數(shù)時(shí)候是放在語(yǔ)義層和生成/解釋層，而不是直接替代感知或控制那類(lèi)需要精確幾何計(jì)算的工作。

在一些交通場(chǎng)景中，感知模塊會(huì)告訴系統(tǒng)“有若干個(gè)物體在前方”，但把這些物體上升為可以驅(qū)動(dòng)決策的語(yǔ)義信息，往往需要把感知結(jié)果和道路規(guī)則、施工通告、臨時(shí)交通標(biāo)志等背景信息結(jié)合起來(lái)。語(yǔ)言模型擅長(zhǎng)把結(jié)構(gòu)化的感知結(jié)果和文本化的知識(shí)聯(lián)系起來(lái)，輸出更接近人類(lèi)理解的描述。換句話說(shuō)，它能把“看到的點(diǎn)”變成“能讀懂的語(yǔ)義”，這對(duì)處理臨時(shí)路況、復(fù)雜標(biāo)識(shí)或人類(lèi)語(yǔ)言說(shuō)明很有幫助。

語(yǔ)言模型在高層策略描述上也可以發(fā)揮巨大作用。遇到交通參與者復(fù)雜互動(dòng)的場(chǎng)景，系統(tǒng)除了需要給出一條可執(zhí)行軌跡，有時(shí)也需要說(shuō)明為什么選擇這條軌跡、有哪些可替代方案以及這些方案的語(yǔ)義判斷依據(jù)。語(yǔ)言模型可以把這些理由或方案用自然語(yǔ)言或預(yù)定義模板羅列出來(lái)，便于運(yùn)維人員審閱或作為人機(jī)交互的解釋輸出。這里的關(guān)鍵是模型輸出的是“解釋”和“備選方案”，而不是把解釋當(dāng)作直接可執(zhí)行的指令。

語(yǔ)言模型在自動(dòng)駕駛的數(shù)據(jù)與仿真領(lǐng)域也展現(xiàn)出重要價(jià)值。為了構(gòu)建更魯棒的自動(dòng)駕駛系統(tǒng)，尤其是在覆蓋罕見(jiàn)的長(zhǎng)尾場(chǎng)景方面，仿真與合成數(shù)據(jù)不可或缺。語(yǔ)言模型能夠自動(dòng)生成多樣化的場(chǎng)景描述、對(duì)話腳本及測(cè)試用例，并通過(guò)場(chǎng)景生成器將這些語(yǔ)義內(nèi)容轉(zhuǎn)化為可執(zhí)行的仿真環(huán)境。借助這一能力，系統(tǒng)能夠在虛擬環(huán)境中高效復(fù)現(xiàn)現(xiàn)實(shí)中難以采集的極端情況，從而顯著提升訓(xùn)練與驗(yàn)證的覆蓋范圍。

此外，語(yǔ)言模型在將復(fù)雜技術(shù)內(nèi)容轉(zhuǎn)化為自然語(yǔ)言方面也具有突出優(yōu)勢(shì)。無(wú)論是車(chē)內(nèi)語(yǔ)音交互、對(duì)外部管理系統(tǒng)的自然語(yǔ)言接口，還是在事后將故障日志整理成易于理解的報(bào)告，語(yǔ)言模型都能發(fā)揮關(guān)鍵作用。對(duì)于普通乘客或維護(hù)團(tuán)隊(duì)而言，將復(fù)雜的傳感器數(shù)據(jù)與決策過(guò)程轉(zhuǎn)化為一句清晰易懂的說(shuō)明，遠(yuǎn)比直接呈現(xiàn)原始數(shù)據(jù)更具實(shí)用價(jià)值。

語(yǔ)言模型為什么不能直接替代核心駕駛技術(shù)？

把能做的講清楚之后，有必要把不能做的也講明白。語(yǔ)言模型的本質(zhì)決定了它不可能完全替代那些需要精確數(shù)值計(jì)算、實(shí)時(shí)閉環(huán)控制和可證明性證明的環(huán)節(jié)。

語(yǔ)言模型輸出的概率性本質(zhì)決定了其生成內(nèi)容雖然通常連貫合理，卻未必完全符合物理事實(shí)。尤其在信息不完整或存在沖突的情況下，模型可能生成看似合理但實(shí)際錯(cuò)誤的結(jié)論。由于自動(dòng)駕駛系統(tǒng)對(duì)判斷錯(cuò)誤的容忍度極低，任何不準(zhǔn)確輸出都可能引發(fā)嚴(yán)重后果，因此將語(yǔ)言模型的自由生成結(jié)果直接用于安全關(guān)鍵決策具有較高風(fēng)險(xiǎn)。

實(shí)時(shí)性與算力限制是另一重要約束。車(chē)輛在動(dòng)態(tài)道路環(huán)境中通常需要在幾十至幾百毫秒內(nèi)完成決策與控制。然而，當(dāng)前大規(guī)模語(yǔ)言模型的推理過(guò)程仍對(duì)計(jì)算資源有較高需求，難以在車(chē)端直接實(shí)現(xiàn)全尺寸模型的實(shí)時(shí)響應(yīng)。盡管可采用模型壓縮、知識(shí)蒸餾或?qū)Ｓ糜布仁侄芜M(jìn)行優(yōu)化，但這些方法往往伴隨性能損失或帶來(lái)更復(fù)雜的工程部署問(wèn)題。

模型的“接地”能力同樣至關(guān)重要，即輸出必須嚴(yán)格基于當(dāng)前傳感器數(shù)據(jù)與物理約束。語(yǔ)言模型的知識(shí)主要來(lái)源于離線訓(xùn)練語(yǔ)料，而駕駛決策高度依賴如幾何關(guān)系、速度與動(dòng)力學(xué)狀態(tài)等實(shí)時(shí)感知信息。要實(shí)現(xiàn)語(yǔ)義推理與感知事實(shí)的對(duì)齊，必須建立可靠的多模態(tài)輸入機(jī)制，將圖像、點(diǎn)云等感知數(shù)據(jù)以低損失方式傳遞給模型，并確保其輸出不脫離實(shí)際觀測(cè)。這類(lèi)多模態(tài)接地機(jī)制的工程實(shí)現(xiàn)難度較高，容易產(chǎn)生語(yǔ)義推斷與物理現(xiàn)實(shí)之間的不一致。

在法規(guī)與系統(tǒng)驗(yàn)證層面，自動(dòng)駕駛也必須滿足嚴(yán)格的測(cè)試與合規(guī)要求，需要證明系統(tǒng)在各種場(chǎng)景下的行為可控、可測(cè)。語(yǔ)言模型的黑箱特性使其難以提供形式化、數(shù)學(xué)化的安全保證。因此，在現(xiàn)有工程實(shí)踐中，通常將最高風(fēng)險(xiǎn)的閉環(huán)控制任務(wù)交由可驗(yàn)證的小型模塊處理，而語(yǔ)言模型的輸出則多作為輔助信息或解釋性內(nèi)容使用，以此在發(fā)揮其智能優(yōu)勢(shì)的同時(shí)確保系統(tǒng)的整體安全性與可認(rèn)證性。

系統(tǒng)集成時(shí)有哪些看起來(lái)不起眼但很關(guān)鍵的細(xì)節(jié)？

在將語(yǔ)言模型實(shí)際集成為系統(tǒng)組件時(shí)，必須對(duì)一系列工程細(xì)節(jié)加以周密考慮。這些細(xì)節(jié)雖看似瑣碎，卻直接關(guān)系到系統(tǒng)能否安全、穩(wěn)定地運(yùn)行。

接口設(shè)計(jì)需要明確約束。系統(tǒng)里要事先定義好語(yǔ)言模型輸出的格式和語(yǔ)義范圍，避免模型隨意生成不可解析的文本。常見(jiàn)的做法是把模型的回復(fù)限定到一套事先定義好的模板或標(biāo)簽集合里，然后再由驗(yàn)證模塊把這些輸出轉(zhuǎn)成下層可執(zhí)行的指令。這樣做的目的在于把概率性語(yǔ)言輸出變成工程上可控的信號(hào)，防止上層的自由發(fā)揮直接影響控制層的安全邊界。

多模態(tài)數(shù)據(jù)如何供給模型也要慎重考慮。感知模塊產(chǎn)出的信息形式很多樣，包括稠密圖像、稀疏點(diǎn)云和時(shí)間序列軌跡等。想把這些異構(gòu)數(shù)據(jù)有效地傳給以文本為主的模型，有些團(tuán)隊(duì)會(huì)把結(jié)構(gòu)化信息符號(hào)化成短文本描述后再喂給模型，這樣雖然簡(jiǎn)單但會(huì)丟失細(xì)節(jié)。還有一些會(huì)采用多模態(tài)編碼器，把圖像或點(diǎn)云映射到與語(yǔ)言兼容的嵌入空間，這樣信息保留更好，但實(shí)現(xiàn)和部署復(fù)雜度更高。

此外，對(duì)模型輸出進(jìn)行校驗(yàn)的機(jī)制也必不可少。校驗(yàn)可以是規(guī)則驅(qū)動(dòng)的，也可以是用小型判別模型來(lái)做。無(wú)論采用哪種方式，目標(biāo)都是在把語(yǔ)言模型的建議傳給下層執(zhí)行器之前，先評(píng)估其可執(zhí)行性、安全性和與當(dāng)前感知事實(shí)的一致性。在實(shí)際設(shè)計(jì)時(shí)，經(jīng)常把這個(gè)校驗(yàn)器設(shè)計(jì)成一個(gè)獨(dú)立模塊，只有通過(guò)校驗(yàn)的輸出才能被轉(zhuǎn)化為規(guī)劃器能夠接受的約束或指令。

評(píng)測(cè)體系要擴(kuò)展，不能只靠傳統(tǒng)指標(biāo)。在引入語(yǔ)言模型之后，評(píng)測(cè)不再僅限于感知精度或軌跡偏差，還要關(guān)注語(yǔ)義穩(wěn)定性、輸出一致性和與感知事實(shí)的一致性。評(píng)測(cè)用例需要刻意設(shè)計(jì)能誘發(fā)模型“編故事”的情形，看模型在信息不全、信息沖突或極端擾動(dòng)下會(huì)不會(huì)產(chǎn)生不合邏輯的結(jié)論。此外把模型放進(jìn)閉環(huán)仿真環(huán)境里進(jìn)行壓力測(cè)試也是非常必要的，只有在大量擾動(dòng)和邊界條件下通過(guò)檢驗(yàn)，才能說(shuō)明整體系統(tǒng)在這些維度上的魯棒性。

部署架構(gòu)的權(quán)衡很多時(shí)候決定整體成敗。把大模型放在云端能利用強(qiáng)算力，但會(huì)引入網(wǎng)絡(luò)延遲和連通性風(fēng)險(xiǎn)；把模型盡量壓到車(chē)端能降低延遲但會(huì)受限于硬件和能耗；采用邊緣與云配合能兼顧兩者卻增加系統(tǒng)復(fù)雜性。因此，需要根據(jù)不同功能的實(shí)時(shí)性和安全等級(jí)來(lái)決定哪部分邏輯允許云端參與、哪部分必須留在車(chē)端，并且為各種網(wǎng)絡(luò)和硬件故障設(shè)計(jì)回退策略。

最后的話

語(yǔ)言模型是一個(gè)擅長(zhǎng)語(yǔ)義理解、生成文本和做常識(shí)推理的工具，把它用在自動(dòng)駕駛里能在很多非實(shí)時(shí)或者語(yǔ)義密集的環(huán)節(jié)發(fā)揮很大作用。典型的落地場(chǎng)景包括把感知結(jié)果轉(zhuǎn)成語(yǔ)義描述、為復(fù)雜交互場(chǎng)景提供可讀的策略說(shuō)明、在仿真和數(shù)據(jù)生成里擴(kuò)充長(zhǎng)尾樣本，以及把復(fù)雜技術(shù)信息以人能讀懂的方式輸出給乘客或運(yùn)維人員。

同時(shí)也要明白，語(yǔ)言模型不適合替代那些要求嚴(yán)格實(shí)時(shí)性、精確幾何推導(dǎo)或需要數(shù)學(xué)證明的控制環(huán)路。它有生成概率性的本質(zhì)，可能在信息不足的情況下給出不準(zhǔn)確的結(jié)論；它對(duì)算力和延遲敏感，直接在車(chē)端做全尺寸推理現(xiàn)實(shí)上不容易；它與實(shí)際感知的接地工作工程量大，必須有專(zhuān)門(mén)的接口和校驗(yàn)機(jī)制。監(jiān)管和驗(yàn)證的要求更是限制了把語(yǔ)言模型當(dāng)成黑箱來(lái)承擔(dān)安全關(guān)鍵職責(zé)。

對(duì)于語(yǔ)言模型是否應(yīng)成為自動(dòng)駕駛的必選項(xiàng)，關(guān)鍵在于厘清其適用的具體場(chǎng)景、使用方式及相應(yīng)的風(fēng)險(xiǎn)管控機(jī)制。我們更應(yīng)將語(yǔ)言模型視為一種工具，在工程實(shí)踐中明確其邊界，將高風(fēng)險(xiǎn)的實(shí)時(shí)控制閉環(huán)留給可驗(yàn)證的傳統(tǒng)模塊，而把語(yǔ)言模型的輸出定位為解釋信息、輔助提示或非實(shí)時(shí)決策支持。這種分工方式既符合系統(tǒng)安全要求，也體現(xiàn)了工程落地的務(wù)實(shí)邏輯。

審核編輯 黃宇