16km路線無后處理端到端閉環(huán)

概率性規(guī)劃

不同于感知，規(guī)劃中存在著更多的不確定性，對于同一場景，存在不同的合理的決策規(guī)劃結(jié)果。環(huán)境信息到?jīng)Q策規(guī)劃不存在明確的映射關(guān)系，因此學(xué)習(xí)擬人的駕駛策略極具挑戰(zhàn)性。以往的基于學(xué)習(xí)的規(guī)劃方法確定性地通過MLP回歸出規(guī)劃軌跡，無法應(yīng)對環(huán)境信息和決策規(guī)劃之間不明確的映射關(guān)系。同時基于神經(jīng)網(wǎng)絡(luò)輸出的軌跡無法保證滿足運動學(xué)約束，仍需要后端的軌跡優(yōu)化。

VADv2采用概率性規(guī)劃的方法，從大量的人類駕駛數(shù)據(jù)中，擬合每一時刻基于環(huán)境信息的自車軌跡概率分布，將問題轉(zhuǎn)化為預(yù)測每一條軌跡和環(huán)境信息的相關(guān)性，從而應(yīng)對規(guī)劃中的不確定性。

圖1 規(guī)劃中的不確定性

算法框架

圖2 VADv2 算法框架

如圖2所示，VADv2以車載相機采集的流式圖像序列作為輸入。鑒于圖像信息稀疏性，VADv2將圖像信息轉(zhuǎn)換為具有高層語義信息的tokens。具體地，VADv2基于MapTRv2從環(huán)視圖像數(shù)據(jù)中提取地圖物理層和邏輯層的map tokens，同時從圖像中提取關(guān)于動態(tài)障礙物的agent tokens和交通信號燈的traffic element tokens。此外，由于在連續(xù)的動作空間上學(xué)習(xí)概率分布較為困難，VADv2將動作空間離散化，通過最遠軌跡采樣的方式從真實的軌跡數(shù)據(jù)中篩選出N條軌跡構(gòu)建軌跡集合,用于表征整個動作空間。VADv2將軌跡通過正余弦編碼方式編碼為planning tokens。Planning tokens基于堆疊的Transformer結(jié)構(gòu)與包含環(huán)境信息的tokens交互，同時結(jié)合稀疏導(dǎo)航信息和自車狀態(tài)信息，輸出每一條軌跡的概率：

在訓(xùn)練階段，VADv2通過KL散度約束預(yù)測的概率分布和駕駛數(shù)據(jù)對應(yīng)分布之間的一致性，并引入額外的場景約束進一步降低存在安全風(fēng)險的軌跡的概率。在推理階段，VADv2在每一個時刻從軌跡概率分布中采樣一條高置信度的軌跡用于車輛控制。由于輸出多模式的軌跡簇，VADv2也可以和基于優(yōu)化或規(guī)則的規(guī)控架構(gòu)結(jié)合，進行二階段優(yōu)化以及篩選過濾。

圖3 CARLA閉環(huán)規(guī)劃性能

圖4 消融實驗

閉環(huán)驗證

在CARLA仿真器上，VADv2能夠長時間控車穩(wěn)定地行駛，正確地響應(yīng)交通信號燈，通過復(fù)雜路口，與其他車輛和行人交互，剎停避障等。同時，VADv2也在Town05 Benchmark上取得了顯著優(yōu)于其他方法的閉環(huán)性能（圖3）。消融實驗如圖4所示，驗證了各類token隱式表征和概率分布約束的有效性。

總結(jié)與展望

在CARLA仿真器上的閉環(huán)實驗初步驗證了該范式的可行性。未來的研究方向是如何與現(xiàn)有的規(guī)控架構(gòu)結(jié)合進一步提升系統(tǒng)的魯棒性，以及在更加復(fù)雜的真實場景中展開驗證。

審核編輯：湯梓紅