本文是對(duì)我們ECCV 2022被接收的文章LiDAR Distillation: Bridging the Beam-Induced Domain Gap for 3D Object Detection的介紹。在這個(gè)工作中，我們通過(guò)構(gòu)建偽低線(xiàn)數(shù)點(diǎn)云，利用知識(shí)蒸餾方法，來(lái)減小由激光雷達(dá)線(xiàn)數(shù)域差異導(dǎo)致的模型性能下降問(wèn)題。很榮幸地，我們的文章被ECCV 2022收錄，目前項(xiàng)目代碼已開(kāi)源，歡迎大家試用。

arXiv：https://arxiv.org/abs/2203.14956

Code（已開(kāi)源）：

https://github.com/weiyithu/LiDAR-Distillation

概述

近年來(lái)隨著人工智能的發(fā)展，自動(dòng)駕駛技術(shù)開(kāi)始逐步落地，廣泛應(yīng)用在無(wú)人機(jī)，清潔機(jī)器人，無(wú)人配送小車(chē)等無(wú)人系統(tǒng)中。而三維目標(biāo)檢測(cè)是自動(dòng)駕駛技術(shù)中的重要一環(huán)，是三維環(huán)境感知的基礎(chǔ)，其目的是檢測(cè)出三維空間中每個(gè)物體的三維緊致框。相較于基于圖像的純視覺(jué)算法，基于點(diǎn)云三維目標(biāo)檢測(cè)方法精度更高，可以提供更加準(zhǔn)確的三維位置，是現(xiàn)階段高階自動(dòng)駕駛使用的方案。

激光雷達(dá)雖然可以提供準(zhǔn)確的三維信息，但價(jià)格也是昂貴的，尤其是高線(xiàn)數(shù)激光雷達(dá)。因此在一些較低成本的產(chǎn)品中，例如清潔機(jī)器人和無(wú)人配送車(chē)，無(wú)法部署高線(xiàn)數(shù)雷達(dá)。然而現(xiàn)有公開(kāi)數(shù)據(jù)集大部分都是用高線(xiàn)數(shù)雷達(dá)采集的，這中間存在著線(xiàn)數(shù)導(dǎo)致的域差異問(wèn)題會(huì)使得我們無(wú)法很好地利用這些大型的公開(kāi)數(shù)據(jù)集。除此之外，與RGB相機(jī)不同，激光雷達(dá)產(chǎn)品更新迭代較快，不同類(lèi)型的激光雷達(dá)線(xiàn)數(shù)也會(huì)是不同的。對(duì)于每一代產(chǎn)品都去重新采集數(shù)據(jù)集是非常費(fèi)時(shí)費(fèi)力，不切合實(shí)際的。因此如何更好地利用之前采集的高線(xiàn)數(shù)數(shù)據(jù)集是個(gè)值得探究的問(wèn)題。

同時(shí)，我們發(fā)現(xiàn)之前的一些算法大部分都是為了通用域適應(yīng)問(wèn)題設(shè)計(jì)的（例如ST3D），但面對(duì)訓(xùn)練集是高線(xiàn)數(shù)點(diǎn)云，測(cè)試集是低線(xiàn)數(shù)點(diǎn)云的場(chǎng)景，這些算法不能很好地處理。為了解決這個(gè)問(wèn)題，我們提出了LiDAR Distillation。我們方法的核心是對(duì)源域高線(xiàn)數(shù)數(shù)據(jù)進(jìn)行下采樣得到偽低線(xiàn)數(shù)點(diǎn)云，與目標(biāo)域線(xiàn)數(shù)對(duì)齊。以在高線(xiàn)數(shù)點(diǎn)云數(shù)據(jù)集上訓(xùn)練得到的三維目標(biāo)檢測(cè)器作為教師網(wǎng)絡(luò)，在偽低線(xiàn)數(shù)點(diǎn)云數(shù)據(jù)集上訓(xùn)練得到的三維目標(biāo)檢測(cè)器作為學(xué)生網(wǎng)絡(luò)，進(jìn)行離線(xiàn)知識(shí)蒸餾算法，提升學(xué)生網(wǎng)絡(luò)精度。由于下采樣過(guò)程是逐步進(jìn)行的，整個(gè)框架是迭代框架。在Waymo->nuScenes上的實(shí)驗(yàn)結(jié)果表明，我們的方法超過(guò)了當(dāng)前最好方法的性能，并且我們的方法可以很好地與其它通用域適應(yīng)方法進(jìn)行結(jié)合，在推理過(guò)程中不增加任何計(jì)算量。

方法

1）生成低線(xiàn)數(shù)偽點(diǎn)云數(shù)據(jù)

為了對(duì)齊源域和目標(biāo)域的點(diǎn)云線(xiàn)數(shù)（假設(shè)源域和目標(biāo)域線(xiàn)數(shù)分別為Bs和Bt)，我們首先需要對(duì)源域的高線(xiàn)數(shù)數(shù)據(jù)進(jìn)行下采樣。與一般的點(diǎn)云下采樣方法不同，我們不能對(duì)點(diǎn)云進(jìn)行均勻的采樣，而是需要按照每條線(xiàn)進(jìn)行采樣。因此，我們首先需要將一個(gè)場(chǎng)景的點(diǎn)云中的每個(gè)點(diǎn)歸類(lèi)到每條線(xiàn)中。雖然有一些公開(kāi)數(shù)據(jù)集中的數(shù)據(jù)有線(xiàn)束的標(biāo)注，但很多激光雷達(dá)點(diǎn)云數(shù)據(jù)（例如KITTI）并沒(méi)有這個(gè)信息，我們需要自己設(shè)計(jì)算法分離出每條線(xiàn)上的點(diǎn)。我們將每個(gè)點(diǎn)的笛卡爾坐標(biāo)轉(zhuǎn)換成球坐標(biāo)：

2）利用高線(xiàn)數(shù)點(diǎn)云數(shù)據(jù)進(jìn)行知識(shí)蒸餾

知識(shí)蒸餾框架中包含兩個(gè)模型：教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)。一般而言，教師網(wǎng)絡(luò)擁有更多的參數(shù)量和更強(qiáng)的表示能力，可以達(dá)到更好的性能；而學(xué)生網(wǎng)絡(luò)模型更小，推理速度更快，能更好地用在存算資源受限的設(shè)備中。學(xué)生網(wǎng)絡(luò)通過(guò)模仿教師網(wǎng)絡(luò)的特征來(lái)提升自身的性能。與傳統(tǒng)知識(shí)蒸餾方法不同的是，在我們的方法中，教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的結(jié)構(gòu)相同，唯一區(qū)別在于教師網(wǎng)絡(luò)是在高線(xiàn)數(shù)數(shù)據(jù)上訓(xùn)練得到的，而學(xué)生網(wǎng)絡(luò)是在低線(xiàn)數(shù)數(shù)據(jù)上訓(xùn)練所得。因此我們利用知識(shí)蒸餾的目的是將高線(xiàn)數(shù)點(diǎn)云中的豐富信息量傳遞給學(xué)生網(wǎng)絡(luò)。

我們注意到大部分三維目標(biāo)檢測(cè)框架都會(huì)將三維特征投影到二維鳥(niǎo)瞰圖（BEV）上，得到BEV特征。因此我們將BEV特征作為模仿目標(biāo)。之前工作相關(guān)研究結(jié)果表明，由于特征圖維度非常高，直接回歸高維向量容易導(dǎo)致網(wǎng)絡(luò)不收斂。除此之外，特征圖存在很多低響應(yīng)區(qū)域，這部分的特征往往是不重要的。為了解決這個(gè)問(wèn)題，我們提取BEV特征圖中的感興趣區(qū)域（ROI）并在這些區(qū)域上執(zhí)行模仿操作。整體目標(biāo)函數(shù)如下：

3）漸進(jìn)式知識(shí)蒸餾

我們發(fā)現(xiàn)當(dāng)高線(xiàn)數(shù)數(shù)據(jù)和低線(xiàn)數(shù)數(shù)據(jù)之間的線(xiàn)數(shù)差異過(guò)大時(shí)（例如64線(xiàn)和16線(xiàn)），學(xué)生網(wǎng)絡(luò)無(wú)法很好地向教師網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。我們提出漸進(jìn)式知識(shí)蒸餾框架，逐步進(jìn)行蒸餾學(xué)習(xí)。以64線(xiàn)數(shù)據(jù)到16線(xiàn)數(shù)據(jù)為例，我們首先生成偽32線(xiàn)數(shù)據(jù)，并在上面訓(xùn)練得到學(xué)生模型。緊接著，我們生成偽16線(xiàn)數(shù)據(jù)，并以上一步得到的學(xué)生模型作為教師網(wǎng)絡(luò)。在偽16線(xiàn)數(shù)據(jù)上得到的學(xué)生網(wǎng)絡(luò)作為最終結(jié)果在目標(biāo)域的16線(xiàn)數(shù)據(jù)上進(jìn)行推理。

實(shí)驗(yàn)結(jié)果

1) Waymo->nuScenes實(shí)驗(yàn)

需要注意的是雖然Waymo數(shù)據(jù)集是64線(xiàn)數(shù)據(jù)，nuScenes是32線(xiàn)數(shù)據(jù)，但由于nuScene垂直視場(chǎng)角是Waymo的一半，因此其等效線(xiàn)數(shù)為16線(xiàn)。盡管我們的方法僅僅是為了由線(xiàn)數(shù)不同導(dǎo)致的域差異問(wèn)題而設(shè)計(jì)的，沒(méi)有考慮其它域差異因素，我們的方法仍然達(dá)到了SOTA的性能。并且，由于我們的方法沒(méi)有用到目標(biāo)域的訓(xùn)練數(shù)據(jù)，我們的方法很容易與其它方法進(jìn)行互補(bǔ)結(jié)合（例如ST3D），達(dá)到更好的效果。

2）KITTI實(shí)驗(yàn)

為了排除源域和目標(biāo)域其它域差異因素的干擾，我們?cè)贙ITTI上進(jìn)行了實(shí)驗(yàn)。在這個(gè)實(shí)驗(yàn)中，點(diǎn)云線(xiàn)數(shù)不同是源域和目標(biāo)域唯一的差別，其實(shí)這個(gè)設(shè)置更貼合真正的業(yè)界應(yīng)用。換句話(huà)說(shuō)，雖然產(chǎn)品更新導(dǎo)致了激光雷達(dá)線(xiàn)數(shù)變化，但使用場(chǎng)景并沒(méi)有改變。但很可惜的是，學(xué)界并沒(méi)有在同一場(chǎng)景用不同線(xiàn)數(shù)雷達(dá)采集的數(shù)據(jù)集。因此我們只能將64線(xiàn)KITTI數(shù)據(jù)分別下采樣到多種低線(xiàn)數(shù)作為目標(biāo)域。

3）預(yù)訓(xùn)練實(shí)驗(yàn)

對(duì)于公司而言，他們?cè)敢鈽?biāo)一些源域的數(shù)據(jù)。因此我們也做了用我們方法在源域上進(jìn)行預(yù)訓(xùn)練，然后在目標(biāo)域上進(jìn)行微調(diào)的實(shí)驗(yàn)。我們發(fā)現(xiàn)僅使用5%的目標(biāo)域有標(biāo)簽數(shù)據(jù)，我們方法得到的模型性能就可以超過(guò)沒(méi)有預(yù)訓(xùn)練直接用100%目標(biāo)域數(shù)據(jù)進(jìn)行訓(xùn)練得到模型的性能。

方法不足與未來(lái)展望

我們的方法是在BEV特征上進(jìn)行知識(shí)蒸餾的，但很顯然這不是最優(yōu)解，尤其是對(duì)于不是很依賴(lài)BEV特征的網(wǎng)絡(luò)而言，最近也出了不少三維目標(biāo)檢測(cè)知識(shí)蒸餾的文章，這些方法值得借鑒。另一方面，現(xiàn)在的公開(kāi)數(shù)據(jù)集基本上用的都是用機(jī)械式激光雷達(dá)采集的。而由于成本原因，現(xiàn)在越來(lái)越多的廠家選用固態(tài)或者混合固態(tài)的激光雷達(dá)，這些雷達(dá)中的線(xiàn)數(shù)概念與機(jī)械式的不同，因此如何在這些雷達(dá)中緩解域差異問(wèn)題是一個(gè)不錯(cuò)的未來(lái)方向。

審核編輯 ：李倩