[首發(fā)于智駕最前沿微信公眾號(hào)]很多從事自動(dòng)駕駛的小伙伴應(yīng)該對(duì)VLA這個(gè)概念已經(jīng)非常熟悉了。VLA即“Visual-Language-Action”（視覺—語言—?jiǎng)幼鳎┠Ｐ?，它的核心是將視覺信息、語言表達(dá)和動(dòng)作控制這三者整合到一個(gè)統(tǒng)一的模型框架中。

與傳統(tǒng)自動(dòng)駕駛系統(tǒng)將感知、預(yù)測(cè)、規(guī)劃、控制拆解為多個(gè)獨(dú)立模塊的做法不同，VLA可以縮短“看見什么”和“如何行動(dòng)”之間的鴻溝，構(gòu)建一個(gè)能直接將視覺輸入和語言描述映射到具體動(dòng)作或策略的模型。

這類模型通常包含視覺編碼器（處理圖像或點(diǎn)云）、語言編碼器（理解文本或指令）以及一個(gè)負(fù)責(zé)輸出控制量（如軌跡、轉(zhuǎn)向指令）的動(dòng)作策略網(wǎng)絡(luò)。

圖片源自：網(wǎng)絡(luò)

在自動(dòng)駕駛系統(tǒng)中引入語言，其目的并不是讓車輛與人對(duì)話，而是借助“人類可理解的語義”來規(guī)范和引導(dǎo)模型的學(xué)習(xí)過程。利用大規(guī)模語言模型所具備的概念抽象與常識(shí)推理能力，VLA能夠提升自動(dòng)駕駛系統(tǒng)在面對(duì)復(fù)雜、模糊或罕見場景時(shí)的理解與泛化水平。VLA的突破不在于單一的視覺提升，而是以一種更接近人類認(rèn)知的方式，將“環(huán)境感知”與“行為決策”緊密地聯(lián)系了起來。

VLA能解決自動(dòng)駕駛中的哪些具體問題？

傳統(tǒng)感知模塊只能輸出如“車輛”、“行人”等物體類別標(biāo)簽，缺乏更高層的語義信息。對(duì)于像是行人為何停在路邊？他是否有橫穿馬路的意圖？一塊寫著“前方施工，減速繞行”的臨時(shí)標(biāo)牌代表著什么等深層指令很難被傳統(tǒng)檢測(cè)模型完全理解。

VLA能夠?qū)⒁曈X證據(jù)與語言描述關(guān)聯(lián)起來，如將一段視頻幀與“行人正看向路中，可能準(zhǔn)備過馬路”這樣的語句綁定，從而將單純的物體檢測(cè)升級(jí)為包含場景理解的意圖推斷。這種能力在處理學(xué)校區(qū)域、施工路段或突發(fā)交通管制等復(fù)雜交互場景時(shí)尤為重要。

真實(shí)道路環(huán)境中，大多數(shù)情況是常見且可預(yù)測(cè)的，對(duì)于自動(dòng)駕駛汽車來說，真正的挑戰(zhàn)來自于那些如擺放奇特的障礙物、不規(guī)范的臨時(shí)標(biāo)志或行為反常的道路使用者等稀少、怪異的長尾場景。

大規(guī)模語言模型可以從海量文本中學(xué)到的抽象概念和常識(shí)，通過VLA的跨模態(tài)訓(xùn)練遷移到視覺世界中。舉個(gè)例子，有些場景可能模型根本沒有見到過，但只要它在文本中反復(fù)接觸過“施工區(qū)域常伴有錐桶、臨時(shí)路標(biāo)和工人”這類的描述，就能將零散的視覺線索組合成“施工場景”的高置信度判斷，從而提前采取減速或謹(jǐn)慎通行策略。

自動(dòng)駕駛系統(tǒng)需要與乘客、遠(yuǎn)程操作員或路政人員交互。傳統(tǒng)系統(tǒng)對(duì)指令格式要求嚴(yán)格，只能執(zhí)行預(yù)定義的動(dòng)作集。VLA則能夠理解自然的語言指令，并將其直接轉(zhuǎn)化為車輛的動(dòng)作或高層策略。

如果乘客說“我想在下一個(gè)出口下車，盡量靠近加油站那邊”，VLA可以解析這種模糊的口語化指令，結(jié)合當(dāng)前定位與地圖信息，做出相應(yīng)的車道選擇與路徑規(guī)劃。這對(duì)于需要人機(jī)協(xié)同決策或遠(yuǎn)程干預(yù)的場景來說非常重要。

想讓傳統(tǒng)的純視覺模型適應(yīng)新場景，需要大量精準(zhǔn)標(biāo)注的數(shù)據(jù)。VLA則可以利用語言作為一種“額外的監(jiān)督信號(hào)”，能夠?qū)崿F(xiàn)更高效的學(xué)習(xí)。語言描述能提供抽象且可遷移的規(guī)則，將這類規(guī)則與有限的視覺樣本結(jié)合，模型就能舉一反三，學(xué)到更廣泛的行為模式。這對(duì)于將系統(tǒng)快速部署到新地區(qū)，或在仿真環(huán)境中通過少量標(biāo)注實(shí)現(xiàn)能力遷移具有重要的實(shí)用價(jià)值。

黑盒模型在決策出錯(cuò)時(shí)難以追溯原因，這無疑會(huì)給調(diào)試和監(jiān)管帶來很大的困難。VLA則可以提供一層語義中間件，它將視覺線索轉(zhuǎn)化為語言描述，再基于描述驅(qū)動(dòng)行為。當(dāng)車輛執(zhí)行某個(gè)動(dòng)作時(shí)，系統(tǒng)可以輸出如“因檢測(cè)到前方未封閉施工區(qū)域且有工人活動(dòng)，因此選擇減速并變道”的自然語言解釋。這極大增強(qiáng)了系統(tǒng)的可追溯性和透明度，便于分析問題，也更容易獲得監(jiān)管方與用戶的信任。

對(duì)于自動(dòng)駕駛汽車來說，不同傳感器各有優(yōu)缺點(diǎn)，攝像頭在強(qiáng)光或夜間可能失效，激光雷達(dá)在雨雪中對(duì)低反射物體感知不佳。VLA所依賴的大規(guī)模跨模態(tài)學(xué)習(xí)，能在語義層面實(shí)現(xiàn)信息互補(bǔ)。當(dāng)視覺感知不確定時(shí)，語言先驗(yàn)或歷史描述（如“此路段早晚常有校車?？俊保┠芴峁┯袃r(jià)值的參考，從而使決策策略更加穩(wěn)健。這個(gè)功能并不是取代傳感器的物理冗余，而是提供了一種有價(jià)值的語義冗余。

端到端學(xué)習(xí)可以直接從像素映射到控制指令，雖有泛化能力強(qiáng)的優(yōu)點(diǎn)，但在安全驗(yàn)證和可控性上存在風(fēng)險(xiǎn)。VLA更像是一條折中路徑，它保留了端到端的泛化潛力，同時(shí)又通過語言層引入了可讀性與可干預(yù)性，使系統(tǒng)在可驗(yàn)證性、參數(shù)調(diào)整和人工監(jiān)督方面更為友好。

實(shí)現(xiàn)VLA需要哪些關(guān)鍵技術(shù)與訓(xùn)練手段？

想要構(gòu)建一個(gè)能上路運(yùn)行的VLA系統(tǒng)，不能只是簡單堆砌大模型，而是需要統(tǒng)籌考慮架構(gòu)、數(shù)據(jù)、訓(xùn)練和部署。VLA模型架構(gòu)通常包含三個(gè)核心部分，即視覺編碼器、語言編碼器（或一個(gè)統(tǒng)一的跨模態(tài)編碼器）以及動(dòng)作策略模塊。

視覺編碼器從圖像或點(diǎn)云中提取特征，語言編碼器將文本指令轉(zhuǎn)換為語義向量，兩者在一個(gè)共享的語義空間中進(jìn)行對(duì)齊。動(dòng)作策略模塊則負(fù)責(zé)輸出具體的控制指令（如軌跡、轉(zhuǎn)向角）或高層決策（如“減速”、“變道”）。

想實(shí)現(xiàn)VLA模型，需要幾種技術(shù)協(xié)同配合，Transformer架構(gòu)是核心，像一位“信息協(xié)調(diào)官”，專門處理視覺和語言的融合；對(duì)比學(xué)習(xí)則像一位“教練”，可以確保模型能理解圖片和文字描述的是同一回事；行為克隆和強(qiáng)化學(xué)習(xí)則負(fù)責(zé)“訓(xùn)練”策略網(wǎng)絡(luò)，讓VLA學(xué)會(huì)如何做出正確的駕駛動(dòng)作。

要讓VLA模型同時(shí)掌握可靠的視覺語義和語言常識(shí)，訓(xùn)練集必須包含視覺數(shù)據(jù)、對(duì)應(yīng)的語言描述以及與之匹配的動(dòng)作軌跡或決策標(biāo)簽，這類數(shù)據(jù)的標(biāo)注成本極高。對(duì)此，可采用混合數(shù)據(jù)源策略，也就是以精準(zhǔn)標(biāo)注的真實(shí)路采數(shù)據(jù)為核心，用仿真技術(shù)生成大量多樣場景，并輔以互聯(lián)網(wǎng)上豐富的圖文資料作為補(bǔ)充。

還有一種提升數(shù)據(jù)效率的方法是采用自監(jiān)督或?qū)Ρ葘W(xué)習(xí)，如讓模型自行預(yù)測(cè)接下來的車輛動(dòng)作或場景描述，從而讓模型從已有數(shù)據(jù)中主動(dòng)學(xué)習(xí)規(guī)律，實(shí)現(xiàn)“花小錢辦大事”的訓(xùn)練效果。

在訓(xùn)練策略上，VLA應(yīng)采用分階段訓(xùn)練。首先要做的時(shí)進(jìn)行視覺-語言對(duì)齊的預(yù)訓(xùn)練，讓模型學(xué)會(huì)建立圖像與文本的聯(lián)系。接著就是要進(jìn)行行為監(jiān)督訓(xùn)練，如通過模仿學(xué)習(xí)或離線強(qiáng)化學(xué)習(xí)，讓模型學(xué)習(xí)駕駛策略。最后就是要針對(duì)具體的駕駛?cè)蝿?wù)進(jìn)行微調(diào)。在安全關(guān)鍵的應(yīng)用中，還必須引入約束優(yōu)化或獨(dú)立的安全層，確保模型的輸出行為始終在安全邊界內(nèi)，即使它提出了一個(gè)激進(jìn)的建議，系統(tǒng)也能夠予以否決。

大模型所需的龐大算力與車載硬件有限的資源之間其實(shí)存在天然矛盾，必須對(duì)模型進(jìn)行精簡（壓縮與量化），并采用分層的部署方案。對(duì)于這個(gè)問題，可以將計(jì)算最密集的語言理解和復(fù)雜推理任務(wù)放在云端或邊緣服務(wù)器完成，而在車端只運(yùn)行一個(gè)輕量化的推理引擎，并配以保障實(shí)時(shí)安全的安全監(jiān)控模塊。系統(tǒng)還需具備動(dòng)態(tài)調(diào)度的能力，在網(wǎng)絡(luò)良好時(shí)借助“云腦”，一旦斷網(wǎng)則能無縫切換至本地的傳統(tǒng)控制棧，確保基礎(chǔ)功能安全。

VLA模型在提升可解釋性的同時(shí)，也可能將學(xué)到的語言常識(shí)“生搬硬套”到不恰當(dāng)?shù)囊曈X場景中，或者對(duì)含義模糊甚至帶有惡意的指令做出誤判。為了提前暴露并防范這類風(fēng)險(xiǎn)，在測(cè)試階段就要設(shè)計(jì)極具針對(duì)性的場景，如可以專門檢驗(yàn)?zāi)Ｐ驮诿鎸?duì)非常規(guī)指令時(shí)的表現(xiàn)，以及在不同地區(qū)文化背景下其語義理解是否可以保持一致。

在這個(gè)過程中，高精度的仿真平臺(tái)作用就非常關(guān)鍵，它能高效、安全地大量去模擬現(xiàn)實(shí)中罕見的長尾場景，從而系統(tǒng)性地驗(yàn)證模型行為的可靠性，并可以精準(zhǔn)定位其失效的邊界。

想將VLA應(yīng)用到車輛中，對(duì)VLA模型的要求不能是表現(xiàn)良好就可以了，而是要在極端或失效場景下具備清晰的應(yīng)對(duì)方案。因此，VLA系統(tǒng)不能獨(dú)立運(yùn)行，而要與傳統(tǒng)且經(jīng)過嚴(yán)格認(rèn)證的安全監(jiān)控模塊（如自動(dòng)緊急制動(dòng)、硬件限速器等）協(xié)同工作。語言模塊可以負(fù)責(zé)提供決策解釋和行為建議，但車輛的最終控制權(quán)，尤其是涉及安全的執(zhí)行指令，必須始終在功能安全體系的嚴(yán)格監(jiān)管之下執(zhí)行。

最后的話

VLA是為自動(dòng)駕駛系統(tǒng)嵌入一個(gè)“語義智能層”，它通過連接視覺與語言，賦予了車輛理解復(fù)雜場景和人類意圖的關(guān)鍵能力。但它的并不能替代傳統(tǒng)架構(gòu)，而應(yīng)與之協(xié)同，VLA作為創(chuàng)新的認(rèn)知大腦，可以負(fù)責(zé)處理不確定性和長尾問題，而經(jīng)過嚴(yán)格認(rèn)證的傳統(tǒng)控制系統(tǒng)則可以作為安全基座，確保最終執(zhí)行的萬無一失。這種智能與安全共生的混合架構(gòu)，才是實(shí)現(xiàn)自動(dòng)駕駛穩(wěn)步向前演進(jìn)的務(wù)實(shí)路徑。

審核編輯 黃宇