[首發(fā)于智駕最前沿微信公眾號]在高度復(fù)雜的城市交通網(wǎng)絡(luò)中，行駛規(guī)則并不是一成不變的。雖然交通信號燈、地面標(biāo)線和各類指示牌可以構(gòu)成道路運(yùn)行的基礎(chǔ)框架，但在交通事故處理、電力故障導(dǎo)致信號燈失效以及極端交通擁堵等特殊場景下，交警就會介入并接管交通指揮權(quán)。對于人類駕駛員而言，識別交警的手勢并遵從其指令是一種本能反應(yīng)，但對于自動駕駛系統(tǒng)來說，這其中包含了感知、理解與決策領(lǐng)域的多項(xiàng)技術(shù)。

自動駕駛汽車如何理解人體姿態(tài)？

自動駕駛車輛識別交警手勢的第一步始于對環(huán)境的精細(xì)感知。在早期的計算機(jī)視覺方案中，自動駕駛系統(tǒng)主要通過剛性的“邊界框”來定位物體。這種方法可以將交警從復(fù)雜的背景中框選出來，識別其為一個“人”，但這種粗顆粒度的識別無法捕獲關(guān)鍵的指揮信息。為了解決這一問題，自動駕駛系統(tǒng)引入了人體姿態(tài)估計技術(shù)。這種技術(shù)不再將交警視為一個整體，而是通過提取其肩膀、肘部、手腕、髖部以及腳踝等全身的關(guān)鍵點(diǎn)，構(gòu)建出一個精細(xì)的生物力學(xué)骨架模型。

為了實(shí)現(xiàn)這一目標(biāo)，需要車輛搭載的多個傳感器相互協(xié)同。攝像頭作為視覺核心，負(fù)責(zé)捕捉色彩和紋理信息，可以用來識別交警的制服特征、反光背心的樣式以及手部的細(xì)微動作。攝像頭在強(qiáng)光直射、黑夜或雨雪天氣下容易出現(xiàn)感知退化。此時，激光雷達(dá)可以向外發(fā)射激光脈沖并接收反射點(diǎn)云，為系統(tǒng)提供一個具有精確深度信息的三維世界模型。即使在昏暗的環(huán)境下，激光雷達(dá)也能勾勒出交警手臂擺動的空間軌跡。毫米波雷達(dá)則可以實(shí)時監(jiān)測交警身體運(yùn)動的多普勒頻率變化，從而感知交警動作的爆發(fā)力和節(jié)奏感。這種多模態(tài)的數(shù)據(jù)融合，讓自動駕駛系統(tǒng)能夠建立一個超越人類肉眼的、具備全天候能力的數(shù)字視界。

為了提高識別的可靠性，自動駕駛系統(tǒng)需要對交警的身份進(jìn)行確認(rèn)。在交通環(huán)境中，并不是所有人的揮手動作都具有指揮意義，像是路邊招手的行人、正在施工的環(huán)衛(wèi)工或者是普通路人的肢體語言對于自動駕駛汽車來說，其實(shí)是沒有參考需要的。因此，感知層需通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）對目標(biāo)進(jìn)行精細(xì)分類，確認(rèn)其是否穿著特定制服或持有指揮棒。

一旦系統(tǒng)確認(rèn)了交警，后續(xù)的計算資源將集中于該目標(biāo)的姿態(tài)變化。目前的MoveNet或MediaPipe等算法，能夠在極低的計算延遲下提取人體的關(guān)鍵點(diǎn)，這對于在時速幾十公里的行駛過程中做出瞬時判斷至關(guān)重要。

在處理復(fù)雜的手部動作時，手套的顏色、手部被身體其他部位遮擋或者是交警側(cè)身對向車輛，都是感知算法必須面對的問題。為了增強(qiáng)魯棒性，有技術(shù)提出了三維手部模型，通過對關(guān)鍵幀的深度學(xué)習(xí)，自動駕駛系統(tǒng)能夠推斷出被遮擋部位的可能姿態(tài)。像是Waymo的感知系統(tǒng)就能夠在繁忙的路口同時追蹤上百個行人的動態(tài)，并從中篩選出對車輛行駛有直接影響的指揮信號。這種從整體到局部的分層式識別架構(gòu)，構(gòu)成了自動駕駛系統(tǒng)理解人類指揮的第一道技術(shù)屏障。

時間序列建模與手勢語義的動態(tài)解析邏輯

對于自動駕駛汽車來說，僅捕捉到一瞬間的姿態(tài)并不能代表理解了指令，因?yàn)榻煌ㄖ笓]是一個連續(xù)的動作序列。一個完整的“停止”指令可能包括抬起手臂、掌心向外、并保持一定的僵直度；而“左轉(zhuǎn)”指令則包含指向車輛、劃過胸前、并指向側(cè)方的一系列軌跡。因此，手勢識別本質(zhì)上是一個視頻分類和動作理解的過程，需要自動駕駛系統(tǒng)具備處理“時間相關(guān)性”的能力。

為了能夠?qū)崿F(xiàn)這種時間記憶，自動駕駛系統(tǒng)可采用循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）及其改進(jìn)型架構(gòu)，像是長短期記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元（GRU）等就屬于這一類架構(gòu)。這些網(wǎng)絡(luò)結(jié)構(gòu)在處理每一幀圖像時，都可以保留前一時刻的信息狀態(tài)。這種“記憶”機(jī)制允許模型將過去幾十幀中手臂的運(yùn)動方向串聯(lián)起來，從而識別出動作的語義。舉個例子，當(dāng)系統(tǒng)觀測到交警的手臂從低位向高位平滑移動時，它不會簡單地將其判定為一次“位移”，而是將其解讀為“起步”手勢的前奏。

為了提高對指揮手勢判斷的準(zhǔn)確性，可采用“標(biāo)志位序列算法”的機(jī)制。該機(jī)制可同時監(jiān)測交警的身體朝向、視線焦點(diǎn)以及手臂軌跡。當(dāng)交警的目光注視著本車，且手臂做出了針對性的導(dǎo)流動作時，自動駕駛系統(tǒng)會將該序列標(biāo)記為“有效指令”。這種邏輯能有效過濾掉那些交警正在指揮側(cè)向交通或者是正在整理裝備的無效動作。

為了進(jìn)一步壓低系統(tǒng)延遲，還有技術(shù)提出了“無骨架”的手勢識別路徑。這種方法不再耗費(fèi)計算資源去精準(zhǔn)定位每一個手指關(guān)節(jié)，而是直接通過訓(xùn)練好的輕量級檢測器識別手臂的整體指向矢量，并將其映射到一個預(yù)定義的指令集合中。這種方法在保持高達(dá)91%以上準(zhǔn)確率的同時，還顯著提升了每秒處理幀數(shù)（FPS），使得車輛在高速運(yùn)動中也能實(shí)時解析出交警的最新意圖。這種從“精細(xì)建?！钡健罢Z義映射”的轉(zhuǎn)變，也體現(xiàn)出自動駕駛在效率與精度之間的權(quán)衡。

數(shù)據(jù)質(zhì)量是訓(xùn)練這些復(fù)雜模型的關(guān)鍵。Waymo等公司利用其龐大的路測數(shù)據(jù)庫，通過“內(nèi)容搜索”技術(shù)提取出數(shù)百萬個包含交警指揮的真實(shí)片段。這些數(shù)據(jù)被用于訓(xùn)練具備多層深度的神經(jīng)網(wǎng)絡(luò)，使其能夠理解不同國家、不同文化背景下指揮習(xí)慣的微小差異。

端到端架構(gòu)與大模型驅(qū)動的物理世界理解

隨著人工智能領(lǐng)域進(jìn)入大模型時代，自動駕駛系統(tǒng)識別交警手勢的技術(shù)路線也正在經(jīng)歷變革。傳統(tǒng)的感知系統(tǒng)是模塊化的，視覺算法輸出坐標(biāo)，邏輯算法輸出語義，規(guī)劃算法輸出指令。這種鏈條式的結(jié)構(gòu)雖然清晰，但在處理高度抽象、充滿不確定性的人類行為時，會因?yàn)楦鲗又g的信息損耗而顯得生硬。像是VLA（視覺-語言-動作）大模型，則嘗試將這些層級打通，構(gòu)建一種“端到端”的直接映射能力。

在這種全新的架構(gòu)中，交警的手勢不再被簡化為一個“停車”或“通行”的標(biāo)簽。相反，系統(tǒng)會將攝取的視頻流轉(zhuǎn)化為一種隱式的“物理標(biāo)記”，這些標(biāo)記將直接輸入到一個擁有數(shù)十億參數(shù)的大模型中。該模型不僅學(xué)習(xí)過如何開車，還閱讀過海量的交通法規(guī)，并觀看過無數(shù)人類在路口交互的視頻。因此，當(dāng)模型看到交警舉起手時，它就會直接輸出對物理世界規(guī)則的直覺反應(yīng)，做出停車的動作。這種方式讓車輛的決策更加擬人化，能夠處理那些未經(jīng)預(yù)設(shè)的復(fù)雜場景。

大模型技術(shù)的另一個核心優(yōu)勢在于其強(qiáng)大的“零樣本”或“少樣本”泛化能力。這意味著即便自動駕駛系統(tǒng)在訓(xùn)練中從未見過某種極其罕見的交通引導(dǎo)員服飾，它也能憑借對“人”和“指揮動作”的深層理解，推斷出對方的指揮意圖。像是在施工地段，一名身穿便服但手持臨時導(dǎo)流旗幟的工人，其發(fā)出的信號同樣需要被識別。傳統(tǒng)系統(tǒng)可能因?yàn)槟繕?biāo)不符合“穿著的制服”特征而被忽略，但基于VLA架構(gòu)的物理世界模型可以通過周圍的錐桶、停滯的車流以及工人的視線等上下文，綜合判斷該信號的合法性。

圖片源自：網(wǎng)絡(luò)

如何將這種擁有龐大參數(shù)的大模型安裝在有限算力的車載芯片上也是一個巨大的挑戰(zhàn)。為了實(shí)現(xiàn)這一目標(biāo)，自動駕駛廠商采用了“模型蒸餾”和“剪枝”技術(shù)。這就像是將一本百科全書壓縮成一本實(shí)用的駕駛手冊，在云端，自動駕駛系統(tǒng)使用超大規(guī)模的模型進(jìn)行深度學(xué)習(xí)，捕獲最細(xì)微的交通特征；隨后，通過蒸餾算法，將這些知識遷移到參數(shù)量較小但效率極高的車載模型中。此外，諸如FastDriveVLA之類的創(chuàng)新框架，通過“視覺標(biāo)記剪枝”技術(shù)，可以讓模型在每一幀圖像中只關(guān)注那些真正重要的信息（如交警的手臂、面部和周圍的障礙物），并忽略背景中無關(guān)的建筑，從而在保持高精度的同時，將計算負(fù)荷降低數(shù)倍。

決策仲裁系統(tǒng)與復(fù)雜路口的協(xié)同控制策略

當(dāng)感知系統(tǒng)確認(rèn)了交警的指令，大模型解析了語義之后，自動駕駛系統(tǒng)便進(jìn)入了最具挑戰(zhàn)性的環(huán)節(jié)，即決策執(zhí)行。在一個路口，車輛可能同時接收到多個互相矛盾的信息源，高清地圖顯示這里是直行車道，交通信號燈正亮著紅燈，但交警卻揮手示意你可以通過。在這種情況下，自動駕駛系統(tǒng)的內(nèi)部仲裁邏輯必須做出準(zhǔn)確判斷。根據(jù)現(xiàn)行的交通法規(guī)，交警的指揮權(quán)始終高于靜態(tài)的信號系統(tǒng)和預(yù)設(shè)的規(guī)則。

為了實(shí)現(xiàn)這種高優(yōu)先級的接管，自動駕駛系統(tǒng)的決策層會采用一種“分層控制架構(gòu)”。頂層是基于交警指令的臨時規(guī)控器，一旦手勢識別模塊確認(rèn)了合法的通行信號，它就會向底層的路徑規(guī)劃器發(fā)送一個覆蓋請求。這個請求會暫時讓紅綠燈的約束條件失效，并根據(jù)交警指引的方向生成一條臨時的軌跡線。譬如，在左轉(zhuǎn)彎受到交警引導(dǎo)時，車輛會自動調(diào)整其轉(zhuǎn)彎半徑，并避開交警劃定的禁行區(qū)域。這一過程需要極其精密的時空同步，因?yàn)榻痪闹噶羁赡苁撬蚕⑷f變的，系統(tǒng)必須在毫秒級時間內(nèi)重新計算最優(yōu)軌跡。

安全性始終是自動駕駛決策的核心。如果自動駕駛系統(tǒng)識別到了交警在揮手，但無法解析出確切的語義，它應(yīng)采取“保守響應(yīng)”策略。在這種不確定性較高的場景下，車輛需請求人類駕駛員接管；對于Robotaxi的無人駕駛汽車，則需緩慢減速并在安全位置停車，同時需向云端調(diào)度中心發(fā)起遠(yuǎn)程協(xié)助請求，由人類遠(yuǎn)程安全員來執(zhí)行下一步動作。這種“人機(jī)協(xié)作”的冗余機(jī)制，是確保自動駕駛車輛在復(fù)雜社會環(huán)境中不引發(fā)二次事故的關(guān)鍵支撐。

最后的話

自動駕駛系統(tǒng)識別交警手勢并不只是一個視覺問題，從最初的規(guī)則硬編碼，到如今依托海量數(shù)據(jù)和端到端大模型的“直覺化”駕駛，自動駕駛系統(tǒng)正在加速跨越從“機(jī)器”到“智能體”的界限。這種進(jìn)化的最終目標(biāo)，是讓每一輛自動駕駛汽車都能像老司機(jī)一樣，在繁雜的路口做出最準(zhǔn)確的判斷。

審核編輯 黃宇