0. 筆者個(gè)人體會(huì)

端到端自動(dòng)駕駛一直是研究的重點(diǎn)和熱點(diǎn)，輸入RGB圖像或雷達(dá)點(diǎn)云，輸出自車的控制信號(hào)或運(yùn)動(dòng)規(guī)劃。但目前很多工作都是只做感知或者只做規(guī)劃，很重要的一個(gè)原因是端到端模型訓(xùn)練時(shí)間太長(zhǎng)了，而且最終學(xué)習(xí)到的控制信號(hào)也未見得多好?，F(xiàn)有的教師-學(xué)生范式還可能產(chǎn)生很嚴(yán)重的Causal Confusion問(wèn)題。

今天要為大家介紹的就是ICCV 2023開源的工作DriveAdapter，解決了自動(dòng)駕駛感知和規(guī)劃的耦合障礙，來(lái)源于上交和上海AI Lab，這里不得不慨嘆AI Lab實(shí)在高產(chǎn)，剛剛用UniAD拿了CVPR的Best Paper就又產(chǎn)出了新成果。

DriveAdapter的做法是，用學(xué)生模型來(lái)感知，用教師模型來(lái)規(guī)劃，并且引入新的適配器和特征對(duì)齊損失來(lái)打破感知和規(guī)劃的耦合障礙！想法很新穎！

1. 問(wèn)題引出

最直接的端到端自動(dòng)駕駛框架，就是輸入RGB圖，利用強(qiáng)化學(xué)習(xí)直接輸出控制信號(hào)（a）。但這樣做效率太低了，在使用預(yù)訓(xùn)練模型的情況下甚至都需要20天才能收斂！

現(xiàn)在主流框架基本都是教師-學(xué)生模型，也就是說(shuō)首先用強(qiáng)化學(xué)習(xí)訓(xùn)練一個(gè)復(fù)雜的教師模型，然后用原始的傳感器數(shù)據(jù)讓小模型去模仿教師模型的行為（Behavior Cloning）。這種范式的效率非常高！但是仍然有很大的問(wèn)題，也就是由行為克隆引發(fā)的因果混淆問(wèn)題（Causal Confusion）。這里也推薦「3D視覺工坊」新課程《深度剖析面向自動(dòng)駕駛領(lǐng)域的車載傳感器空間同步（標(biāo)定）》。

聽起來(lái)很繞口，那么這到底是個(gè)啥？

舉個(gè)簡(jiǎn)單例子：

當(dāng)車輛位于十字路口時(shí)，自車的路徑實(shí)際上應(yīng)該是根據(jù)信號(hào)燈來(lái)決定的。但是在圖像上信號(hào)燈很小，周圍車輛很大。所以學(xué)生模型從教師學(xué)習(xí)到的實(shí)際情況很可能是：根據(jù)其他車輛的行為來(lái)規(guī)劃自車。那么如果自車處在路口第一輛車的位置，很有可能自車會(huì)永遠(yuǎn)不動(dòng)！

那么DriveAdapter這個(gè)方案打算怎么做呢？

簡(jiǎn)單來(lái)說(shuō)，它是解耦了學(xué)生和教師模型。學(xué)生負(fù)責(zé)進(jìn)行感知，輸入RGB圖像，輸出BEV分割圖。然后BEV分割圖輸送給教師，進(jìn)行自車的路徑規(guī)劃！

當(dāng)然里面還有特別多的細(xì)節(jié)，下面我們一起來(lái)看具體的論文信息。

2. 論文信息

標(biāo)題：DriveAdapter: Breaking the Coupling Barrier of Perception and Planning in End-to-End Autonomous Driving

作者：Xiaosong Jia, Yulu Gao, Li Chen, Junchi Yan, Patrick Langechuan Liu, Hongyang Li

機(jī)構(gòu)：上海交通大學(xué)、上海AI Lab、北航、安克創(chuàng)新

原文鏈接：https://arxiv.org/abs/2308.00398

代碼鏈接：https://github.com/OpenDriveLab/DriveAdapter

3. 摘要

端到端的自動(dòng)駕駛旨在構(gòu)建一個(gè)以原始傳感器數(shù)據(jù)為輸入，直接輸出自車的規(guī)劃軌跡或控制信號(hào)的完全可微系統(tǒng)。最先進(jìn)的方法通常遵循"教師-學(xué)生"范式。該模型使用權(quán)限信息(周圍智能體和地圖要素的真實(shí)情況)來(lái)學(xué)習(xí)駕駛策略。學(xué)生模型只具有獲取原始傳感器數(shù)據(jù)的權(quán)限，并對(duì)教師模型采集的數(shù)據(jù)進(jìn)行行為克隆。通過(guò)在規(guī)劃學(xué)習(xí)過(guò)程中消除感知部分的噪聲，與那些耦合的工作相比，最先進(jìn)的工作可以用更少的數(shù)據(jù)獲得更好的性能。

然而，在當(dāng)前的教師-學(xué)生范式下，學(xué)生模型仍然需要從頭開始學(xué)習(xí)一個(gè)規(guī)劃頭，由于原始傳感器輸入的冗余和噪聲性質(zhì)以及行為克隆的偶然混淆問(wèn)題，這可能具有挑戰(zhàn)性。在這項(xiàng)工作中，我們旨在探索在讓學(xué)生模型更專注于感知部分的同時(shí)，直接采用強(qiáng)教師模型進(jìn)行規(guī)劃的可能性。我們發(fā)現(xiàn)，即使配備了SOTA感知模型，直接讓學(xué)生模型學(xué)習(xí)教師模型所需的輸入也會(huì)導(dǎo)致較差的駕駛性能，這來(lái)自于預(yù)測(cè)的特權(quán)輸入與真實(shí)值之間的較大分布差距。

為此，我們提出了DriveAdapter，它在學(xué)生(感知)和教師(規(guī)劃)模塊之間使用具有特征對(duì)齊目標(biāo)函數(shù)的適配器。此外，由于基于純學(xué)習(xí)的教師模型本身是不完美的，偶爾會(huì)破壞安全規(guī)則，我們針對(duì)那些不完美的教師特征提出了一種帶有掩碼的引導(dǎo)特征學(xué)習(xí)的方法，進(jìn)一步將手工規(guī)則的先驗(yàn)注入到學(xué)習(xí)過(guò)程中。DriveAdapter在多個(gè)基于CARLA的閉環(huán)仿真測(cè)試集上實(shí)現(xiàn)了SOTA性能。

4. 算法解析

DriveAdapter整體的思路非常清晰，學(xué)生模型將原始傳感器數(shù)據(jù)作為輸入，并提取BEV特征以供BEV分割和適配器模塊使用。之后，預(yù)測(cè)的BEV分割圖被饋送到凍結(jié)的教師模型和適配器模塊中。最后，適配器模塊接收來(lái)自具有GT教師特征的監(jiān)督，以及學(xué)生模型提供的BEV特征。對(duì)于教師模型引入規(guī)則的情況，對(duì)"對(duì)齊損失"應(yīng)用掩碼，并且所有適配器模塊的監(jiān)督來(lái)自動(dòng)作損失的反向傳播。

4.1 感知學(xué)習(xí)的學(xué)生模型

學(xué)生模型將4個(gè)相機(jī)圖像和1個(gè)雷達(dá)點(diǎn)云作為輸入，目的是生成BEV的語(yǔ)義分割圖。具體流程是，首先使用BEVFusion將原始傳感器數(shù)據(jù)轉(zhuǎn)換成2D的BEV特征，然后使用Mask2former執(zhí)行語(yǔ)義分割。

但關(guān)鍵問(wèn)題是，即使使用SOTA感知模塊，如果直接將預(yù)測(cè)的BEV分割饋送給教師模型，也并不會(huì)產(chǎn)生多好的預(yù)測(cè)和規(guī)劃效果。

這是因?yàn)樯赌兀?/p>

首先就是語(yǔ)義分割的不準(zhǔn)確問(wèn)題。搞過(guò)語(yǔ)義分割的小伙伴肯定清楚，模型直接輸出的分割圖其實(shí)效果并不是太好，很多甚至需要經(jīng)過(guò)復(fù)雜的后處理才可以使用，分割的路線、車輛和信號(hào)燈非常不準(zhǔn)，直接用的話噪聲非常大。畢竟教師模型是用BEV分割的Ground Truth來(lái)訓(xùn)練的，直接用學(xué)生模型輸出的BEV分割肯定是效果非常差。

另一個(gè)原因就是教師模式的不完善。其實(shí)單獨(dú)使用教師模型來(lái)輸出運(yùn)動(dòng)規(guī)劃，其結(jié)果也是非常不準(zhǔn)的，所以學(xué)術(shù)界很多做法都是加入一些手工設(shè)計(jì)的規(guī)則來(lái)進(jìn)行二次約束，這樣來(lái)提高性能。

解耦教師和學(xué)生模型的思路確實(shí)很棒，但是這兩個(gè)問(wèn)題也確實(shí)很尖銳。那么怎么解決這兩個(gè)問(wèn)題呢？這就要涉及到DriveAdapter的另一個(gè)關(guān)鍵模塊：適配器。

4.2 適配器模塊

為了獲得更低的成本和更好的適應(yīng)性，作者在學(xué)生和教師模型之間添加適配器。雖然感覺這個(gè)適配器長(zhǎng)得有點(diǎn)像很多論文里提到的"即插即用"模塊？

適配器是分級(jí)插入的，第一層輸入是原始的BEV分割圖和學(xué)生模型的底層特征。之后，一方面不斷編碼BEV分割圖，另一方面使用卷積層來(lái)對(duì)BEV特征進(jìn)行降采樣，來(lái)對(duì)其不同特征層之間的分辨率。

那么，具體怎么彌補(bǔ)BEV分割圖和GT之間的差距呢？這里是為每個(gè)適配器都設(shè)計(jì)了一個(gè)特征對(duì)齊目標(biāo)函數(shù)。實(shí)際上，相當(dāng)于每個(gè)適配器模塊都使用了一個(gè)額外的信息源，并且用原始BEV特征來(lái)恢復(fù)教師模型所需的GT特征。通過(guò)這種方式，可以以逐層監(jiān)督的方式逐步縮小預(yù)測(cè)與真實(shí)特征之間的分布差距：

針對(duì)教師模型不完善的問(wèn)題，作者是通過(guò)兩種方式將手工規(guī)則的先驗(yàn)注入訓(xùn)練過(guò)程：（1）特征對(duì)齊Mask：對(duì)于教師模型錯(cuò)誤并被規(guī)則檢測(cè)的情況，由于教師模型中的原始特征導(dǎo)致錯(cuò)誤的決策，就不讓適配器模塊恢復(fù)。（2）行動(dòng)引導(dǎo)特征學(xué)習(xí)：計(jì)算模型預(yù)測(cè)和實(shí)際決策之間的損失，并通過(guò)凍結(jié)的教師模型和適配器模塊進(jìn)行反向傳播。這里也推薦「3D視覺工坊」新課程《深度剖析面向自動(dòng)駕駛領(lǐng)域的車載傳感器空間同步（標(biāo)定）》。

5. 實(shí)驗(yàn)結(jié)果

作者使用CARLA模擬器進(jìn)行數(shù)據(jù)收集和閉環(huán)駕駛性能評(píng)估，每幀采集4臺(tái)相機(jī)和1臺(tái)激光雷達(dá)的原始數(shù)據(jù)。訓(xùn)練是在Town01、Town03、Town04和Town06進(jìn)行，總共189K幀。評(píng)估指標(biāo)方面，用的是CARLA的官方指標(biāo)，包括：**違規(guī)指數(shù)( IS )衡量沿途發(fā)生的違規(guī)行為數(shù)量，路徑完成度( RC )評(píng)估車輛完成路徑的百分比。駕駛得分( DS )**表示路線完成度和違規(guī)得分的乘積。

和其他SOTA方法的對(duì)比是在Town05 Long和Longest6序列上進(jìn)行?？梢园l(fā)現(xiàn)，DriveAdapter甚至可以與經(jīng)過(guò)10倍數(shù)據(jù)量訓(xùn)練的模型相媲美，而在DriveAdapter也使用10倍數(shù)據(jù)以后，性能進(jìn)一步提升，這其實(shí)是因?yàn)橛?xùn)練更好得感知了紅燈。

兩個(gè)消融實(shí)驗(yàn)，一方面對(duì)比了特征對(duì)齊損失、特征對(duì)齊Mask、行為引導(dǎo)損失，一方面對(duì)比了適配器的各個(gè)階段：

最后這個(gè)實(shí)驗(yàn)很有意思，不知道讀者有沒有這樣的想法："學(xué)生模型能不能不生成BEV分割，而是直接生成教師模型的中間特征圖，那么性能會(huì)不會(huì)不一樣？"。

實(shí)際上，隨著學(xué)生模型的學(xué)習(xí)目標(biāo)變深，整個(gè)駕駛性能是增加的。作者認(rèn)為，將特征直接輸入到教師模型的更深層會(huì)遇到更少的累積誤差。但有個(gè)極端例外，就是只做行為克隆，也就相當(dāng)于完全不使用教師模型，這樣會(huì)遇到嚴(yán)重的慣性問(wèn)題，導(dǎo)致路徑完成度( RC )較低。

那既然學(xué)習(xí)目標(biāo)變深以后，性能會(huì)變好，為啥還要生成BEV分割呢？作者主要是考慮到，早期階段的特征包含更多關(guān)于場(chǎng)景的詳細(xì)信息，可能會(huì)對(duì)教師模型決策很重要，并且適配器可以緩解累積誤差。另一方面，語(yǔ)義分割可以直觀得調(diào)試學(xué)生模型的感知情況。

6. 總結(jié)

今天給大家介紹的是ICCV 2023的開源工作DriveAdapter，它很好得解耦了自動(dòng)駕駛感知和規(guī)劃的行為克隆，提出了一種新的端到端范式。直接利用通過(guò)RL學(xué)習(xí)的教師模型中的駕駛知識(shí)，并且克服了感知不完善和教師模型不完善的問(wèn)題。筆者覺得更重要的是整篇文章分析問(wèn)題的思路很通順，讀起來(lái)很舒服。算法剛剛開源，感興趣的小伙伴趕快試試吧。