自動(dòng)駕駛系統(tǒng)通常采用分階段模塊化的設(shè)計(jì)，即感知、預(yù)測(cè)、規(guī)劃等模塊相互解耦，獨(dú)立優(yōu)化。而端到端方案基于數(shù)據(jù)驅(qū)動(dòng)的方式優(yōu)化整個(gè)系統(tǒng)，打通了各個(gè)模塊的壁壘，并減少了繁瑣的后處理，具有很高的研究?jī)r(jià)值。

在ICCV 2023.上， 地平線和華中科技大學(xué)提出基于矢量化場(chǎng)景表征的端到端自動(dòng)駕駛算法一VAD.VAD擯棄了柵格化表征，對(duì)整個(gè)駕駛場(chǎng)景進(jìn)行矢量化建模，并利用矢量環(huán)境信息對(duì)自車(chē)規(guī)劃軌跡進(jìn)行約束。研究顯示，相比于之前的方案，VAD在規(guī)劃性能和推理速度上具有明顯的優(yōu)勢(shì)。

自動(dòng)駕駛系統(tǒng)通常采用分階段模塊化的設(shè)計(jì)，即感知、預(yù)測(cè)、規(guī)劃等模塊相互解耦，獨(dú)立優(yōu)化。但對(duì)于模塊化方案，模塊間無(wú)法協(xié)同優(yōu)化，存在誤差累積，感知的漏檢誤檢將會(huì)影響規(guī)劃的安全性。近年來(lái)，端到端自動(dòng)駕駛逐漸受到業(yè)界的關(guān)注。端到端方案基于數(shù)據(jù)驅(qū)動(dòng)的方式優(yōu)化整個(gè)系統(tǒng)，打通了各個(gè)模塊的壁壘，并減少了繁瑣的后處理，具有很高的研究?jī)r(jià)值。然而，之前的端到端方案往往基于柵格化的環(huán)境表征（如圖1）。這種密集的表征不具備高層級(jí)的語(yǔ)義信息，并且需要較高的計(jì)算代價(jià)。

在ICCV 2023上，地平線和華中科技大學(xué)提出基于矢量化場(chǎng)景表征的端到端自動(dòng)駕駛算法——VAD。VAD擯棄了柵格化表征，對(duì)整個(gè)駕駛場(chǎng)景進(jìn)行矢量化建模（如圖2），并利用矢量環(huán)境信息對(duì)自車(chē)規(guī)劃軌跡進(jìn)行約束。相比于之前的方案，VAD在規(guī)劃性能和推理速度上具有明顯的優(yōu)勢(shì)。VAD的源碼已開(kāi)源，以促進(jìn)該領(lǐng)域后續(xù)的研究。

圖1 ?柵格化場(chǎng)景表征

圖2 矢量化場(chǎng)景表征

VAD架構(gòu)：基于Transformer

的端到端模型

圖3 VAD模型框架

VAD基于統(tǒng)一的Transformer結(jié)構(gòu)（如圖3所示）。BEV Encoder用于編碼輸入的環(huán)視圖像，并將其轉(zhuǎn)化為鳥(niǎo)瞰圖視角（BEV）下的特征圖；Vectorized Motion Transformer提取場(chǎng)景中的動(dòng)態(tài)目標(biāo)信息，實(shí)現(xiàn)動(dòng)態(tài)目標(biāo)檢測(cè)和矢量化的軌跡預(yù)測(cè)；Vectorized Map Transformer提取場(chǎng)景中矢量化的靜態(tài)元素信息（如車(chē)道線，路沿和人行道）；Planning Transformer以隱式的動(dòng)靜態(tài)場(chǎng)景特征作為輸入，提取其中與駕駛決策規(guī)劃相關(guān)的信息，并完成自動(dòng)駕駛車(chē)輛的軌跡規(guī)劃。另外在模型訓(xùn)練階段，VAD基于矢量場(chǎng)景表征，對(duì)自車(chē)的規(guī)劃軌跡進(jìn)行矢量化約束，從而提升規(guī)劃的安全性。

圖4 基于矢量場(chǎng)景表征的規(guī)劃約束

基于矢量場(chǎng)景表征的規(guī)劃約束

許多先前的工作采用各種后處理策略對(duì)規(guī)劃軌跡進(jìn)行優(yōu)化，以提升規(guī)劃安全性。例如，使用占據(jù)圖預(yù)測(cè)結(jié)果對(duì)規(guī)劃軌跡進(jìn)行微調(diào)，從而使規(guī)劃軌跡位于可行駛區(qū)域內(nèi)。這種方法破壞了模型的端到端學(xué)習(xí)能力，另外，后處理也會(huì)帶來(lái)額外的計(jì)算開(kāi)銷(xiāo)，降低模型的推理速度。VAD完全擯棄了后處理策略，而是選擇在訓(xùn)練階段，使用駕駛先驗(yàn)知識(shí)優(yōu)化規(guī)劃表現(xiàn)，從而在不引入額外推理計(jì)算開(kāi)銷(xiāo)的前提下，提升了規(guī)劃的安全性。

自車(chē)-他車(chē)碰撞約束

基于場(chǎng)景中其他動(dòng)態(tài)目標(biāo)預(yù)測(cè)的矢量化軌跡和自車(chē)規(guī)劃軌跡的碰撞約束。VAD將自車(chē)安全邊界分解為橫向和縱向的安全距離，當(dāng)規(guī)劃軌跡在任一方向與他車(chē)預(yù)測(cè)軌跡的距離小于指定的安全閾值時(shí)，則懲罰該軌跡，從而避免自車(chē)規(guī)劃軌跡與他車(chē)預(yù)測(cè)軌跡相交。

自車(chē)-邊界越界約束

基于預(yù)測(cè)的矢量化邊界線，VAD約束自車(chē)規(guī)劃軌跡始終在可行駛區(qū)域內(nèi)。當(dāng)自車(chē)規(guī)劃軌跡越出道路邊界線時(shí)，則懲罰該軌跡。

自車(chē)-道路方向約束

VAD基于預(yù)測(cè)的道路線方向，約束自車(chē)規(guī)劃軌跡朝向與道路前進(jìn)方向保持一致。當(dāng)自車(chē)規(guī)劃軌跡朝向與道路前進(jìn)方向有較大差異時(shí)，則懲罰該軌跡。

VAD規(guī)劃性能

VAD在nuScenes開(kāi)環(huán)驗(yàn)證和CARLA閉環(huán)驗(yàn)證中均取得了state-of-the-art的規(guī)劃性能。除此之外，相比之前的方案，VAD大幅提升了模型的推理速度。

表1 nuScenes開(kāi)環(huán)規(guī)劃性能

表2 CARLA閉環(huán)規(guī)劃性能

總結(jié)與展望

VAD初步探索了基于矢量化場(chǎng)景表征的端到端自動(dòng)駕駛算法框架。如何將道路拓?fù)浜徒?a href="http://www.brongaenegriffin.com/v/tag/1301/" target="_blank">通信息融入這一框架中，并進(jìn)一步提升系統(tǒng)的魯棒性，將是未來(lái)重要的研究方向。

編輯：黃飛

?