一、摘要

最近特斯拉提出的Occupancy Networks引起了一些討論，本篇論文也提出了一個(gè)occupy grid預(yù)測的網(wǎng)絡(luò)，不過相關(guān)性并不大?；氐秸}，作者基于毫米波的問題：識(shí)別靜態(tài)目標(biāo)的性能較差、稀疏的缺點(diǎn)，提出了第一個(gè)實(shí)時(shí)(1.5ms)BEV多任務(wù)(障礙檢測、可駕駛區(qū)域網(wǎng)格預(yù)測)網(wǎng)絡(luò)。Free space定義為可行駛的網(wǎng)格區(qū)域。通過引入Lidar的標(biāo)記數(shù)據(jù)對(duì)毫米波進(jìn)行監(jiān)督，能夠有效增強(qiáng)毫米波對(duì)靜態(tài)目標(biāo)的感知能力的同時(shí)解決了毫米波數(shù)據(jù)難以標(biāo)注的問題。另一方面作者通過預(yù)測dense occupancy probability map以生成RDM(radial distance map)用于自動(dòng)駕駛路徑規(guī)劃。

二、相關(guān)工作與主要貢獻(xiàn)

相關(guān)工作

障礙檢測上：分為dense RADAR data cubes和radar points，第一種，也就是Range-Dopper這類稠密的特征雖然特征保留度好，但是如今商業(yè)化的雷達(dá)大部分僅提供點(diǎn)云數(shù)據(jù)(經(jīng)過CRAR處理后)，并且為了獲得更稠密的特征，需要增加許多天線等升級(jí)毫米波，這顯然對(duì)于如今普遍好幾個(gè)雷達(dá)的商用車輛是不符的，這類方法擁有自己獨(dú)立的一套體系。第二種，借鑒的Lidar-based方法較多，包括借鑒于centerpoint, pointnet等等，與激光雷達(dá)的方法論大同小異。

占位柵格生成：

Probably Unknown: Deep Inverse Sensor Modelling In Radar

Road scene under- standing by occupancy grid learning from sparse radar clusters using semantic segmentation

主要貢獻(xiàn)：

作者提出的NVRadarNet，在僅使用雷達(dá)點(diǎn)云數(shù)據(jù)的情況下(CFAR處理后生成的點(diǎn)云圖)，在BEV空間能夠?qū)崿F(xiàn)端到端的靜態(tài)與動(dòng)態(tài)目標(biāo)檢測，并且完成占位柵格的預(yù)測任務(wù)；

提出了一種新的半監(jiān)督預(yù)測行駛區(qū)域的方法，僅使用Radar peak detection也就是點(diǎn)云就能夠完成稠密的占位柵格預(yù)測；

能夠?qū)崿F(xiàn)1.5ms的端到端預(yù)測，這個(gè)時(shí)間是在嵌入式GPUNVIDIA DRIVE AGX上，使用TensorRT加速推理得到；

三、模型結(jié)構(gòu)

3.1 整體架構(gòu)

如上圖所示，整體結(jié)構(gòu)比較簡單，輸入是累加多幀的毫米波點(diǎn)云圖(800x800, 100mx100m)，送入類似于UNet結(jié)構(gòu)的網(wǎng)絡(luò)中，UNet常用于分割任務(wù)中，能夠較好結(jié)合底層與高層信息，經(jīng)過多次下采樣后的低分辨率信息。能夠提供分割目標(biāo)在整個(gè)圖像中上下文語義信息，可理解為反應(yīng)目標(biāo)和它的環(huán)境之間關(guān)系的特征。這個(gè)特征有助于物體的類別判斷，然后經(jīng)過concatenate操作從encoder直接傳遞到同高度decoder上的高分辨率信息。能夠?yàn)榉指钐峁└泳?xì)的特征，生成多尺度語義特征后，將特征分別送入不同的三個(gè)檢測頭，任務(wù)分別是：分類、回歸、占位柵格預(yù)測頭。

如上圖所示，encoder結(jié)構(gòu)及特征維度變化、decoder結(jié)構(gòu)與特征尺度分別上、下部分所示，encoder提供給decoder融合了底層與高層特征的最終特征，decoder也就是head用于解碼出所需要的Headmap。

3.2 Head與Loss設(shè)計(jì)

Head

作者在BEV二維平面檢測和生成Free Space，分別生成的是2D檢測框和稠密的占位柵格地圖(dense occupancy probability map)。

將Encoder輸出的特征圖，分別輸入三個(gè)Head，用于檢測、分類、生成Free Space預(yù)測，其中regression和classification的HW相同，而freespace的網(wǎng)格更為細(xì)密。freespace對(duì)100x100m的分割單元為25cm，regression和classification的分割單元大小為50cm，后者和BEVformer等網(wǎng)絡(luò)設(shè)置的grid大小一致，而占位柵格需要的細(xì)粒度更高，需要設(shè)置兩倍的細(xì)分精度。

對(duì)于Regression Head:channel=6，包括中心位置，size(w,l)，偏航角(sinθ和cosθ)，注意這里沒有回歸高度信息；

對(duì)于Classification Head:

對(duì)于Inverse sensor model head (ISM，逆向傳感器模型)：用來將傳感器觀測值轉(zhuǎn)換為占位柵格概率的網(wǎng)格圖，關(guān)于如何預(yù)測和生成占位柵格圖，細(xì)節(jié)沒有多提，具體可以看Probably Unknown: Deep Inverse Sensor Modelling In Radar 這篇文章。預(yù)測生成的占位柵格圖如下圖所示，中間黑色的為道路部分，占位的概率大小從黑色到黃色逐漸升高，顏色越亮代表所在柵格存在目標(biāo)的可能性越大。

Loss

總體損失如上圖所示，其中，作者采用貝葉斯權(quán)重?fù)p失計(jì)算，K是損失的種類數(shù)，這里是3，Li是某個(gè)loss的值，wi為需要預(yù)測的損失項(xiàng)權(quán)值，μw為wi的均值，將整體最小化，最后一項(xiàng)也能夠作為正則項(xiàng)避免權(quán)值過大。

檢測頭損失計(jì)算：分別為交叉熵?fù)p失、L1損失

Inverse sensor model head (ISM，逆向傳感器模型) 損失計(jì)算：

inverse sensor model loss用于占位柵格網(wǎng)絡(luò)的損失，最后一項(xiàng)損失為Probably Unknown: Deep Inverse Sensor Modelling In Radar， ICRA2019中提出，如下圖所示，由左側(cè)的Range-Doppler-Matrix(由極坐標(biāo)系下經(jīng)過插值轉(zhuǎn)換到笛卡爾坐標(biāo)系下)生成的右側(cè)的Label作為GT，監(jiān)督Inverse sensor model head預(yù)測占位柵格圖，生成的占位柵格圖在沿中心的射線上高于某個(gè)threshhold的柵格作為occupied grid(將網(wǎng)格的值賦值為1)，遍歷360°的射線后生成的柵格圖與GT計(jì)算loss。

淺提一下“Probably Unknown: Deep Inverse Sensor Modelling In Radar（ICRA2019）”這篇論文，論文使用深度神經(jīng)網(wǎng)絡(luò)將原始雷達(dá)掃描轉(zhuǎn)換為占用概率柵格地圖，使用激光雷達(dá)生成的部分占用標(biāo)簽進(jìn)行自我監(jiān)督，優(yōu)于標(biāo)準(zhǔn)的CFAR濾波方法，能夠成功地將世界劃分為占用的和空閑的空

上圖是loss計(jì)算的細(xì)節(jié)，可以看到loss綜合考慮了y=1和y=0也就是占據(jù)和非占據(jù)(free space)兩種損失。

四、一些論文細(xì)節(jié)

4.1 雷達(dá)數(shù)據(jù)處理與FreeSpace的Label生成

雷達(dá)數(shù)據(jù)預(yù)處理

對(duì)毫米波點(diǎn)云進(jìn)行量化采樣，生成voxel網(wǎng)格數(shù)據(jù)，對(duì)重復(fù)投影到同一位置的點(diǎn)云采用均值池化的方式

累計(jì)8個(gè)雷達(dá)的0.5s內(nèi)的掃描點(diǎn)云稠密性，通過運(yùn)動(dòng)補(bǔ)償完成多幀雷達(dá)累計(jì)

輸入維度為：Doppler, elevation angle, RADAR cross section (RCS), azimuth angle and the relative detection timestamp

將RCS小于?40 dBm的雷達(dá)點(diǎn)云過濾

小于4個(gè)毫米波點(diǎn)云投射的目標(biāo)進(jìn)行濾除

生成Detection Head的GT數(shù)據(jù)：Label Propagation(由Lidar生成用于目標(biāo)檢測的GT)

如下圖所示，作者將Lidar標(biāo)注好的2D GT，進(jìn)行篩選，條件如下：1. 少于4個(gè)point在內(nèi)的bbox去除；2. 反射強(qiáng)度

生成Inverse sensor model head的Label：Free Space Label Generation

將occupy grid分為：Observed and free，Observed and occupied，Unobserved，Partially observed四類網(wǎng)格

激光雷達(dá)數(shù)據(jù)輔助生成Free Space Label，將多線(這里是128線)的點(diǎn)云投射到地面，去除道路的點(diǎn)云以生成free space label，因?yàn)槁访嬗捎诙嗑€雷達(dá)的多面掃描會(huì)使可行駛的路面被認(rèn)作為障礙物，因此要去除道面點(diǎn)云，以生成準(zhǔn)確的Free Space監(jiān)督信號(hào)

總結(jié)來說，就是分為幾個(gè)區(qū)間[ego,first return), (first return, last_return), (last_return, border]，分別標(biāo)記為：黑色，深灰色，灰色，顏色由深變淺，白色就是返回的有目標(biāo)的點(diǎn)，如下圖所示：

4.2 End-to-end Obstacle Detection

作者使用OneNet的匹配方法，同時(shí)考慮尺寸和類別信息用于正樣本分配，同樣是一種Anchor-free的檢測方法。

4.3 數(shù)據(jù)集

作者使用Nvidia的自動(dòng)駕駛數(shù)據(jù)集，數(shù)據(jù)集未公開，只說明了基本的信息，對(duì)比而言，nuScenes作為目前較大的自動(dòng)駕駛數(shù)據(jù)集，只有15小時(shí)的采集，作者的內(nèi)部數(shù)據(jù)集有幾百個(gè)小時(shí)的采集；

激光雷達(dá)128線，8個(gè)毫米波雷達(dá)Continental ARS430，相比NuScenes的408更加稠密，性能更好；

4.4 題外話：ISM輸出轉(zhuǎn)化為RDM圖

自動(dòng)駕駛中并不是直接利用生成的占位柵格概率圖，一些方法通常將Free Space經(jīng)過一系列轉(zhuǎn)化，生成一種“可行駛區(qū)域的邊界輪廓”用于自動(dòng)駕駛的路徑規(guī)劃，這是作者額外介紹的應(yīng)用。ISM生成的占位柵格概率圖用于Loss的計(jì)算而不是這一節(jié)所介紹的邊界輪廓。轉(zhuǎn)換過程如下：

生成占位柵格地圖：Inverse sensor model head (ISM，逆向傳感器模型)生成概率柵格地圖，亮度由暗到亮，存在物體的概率逐漸上升

轉(zhuǎn)化到極坐標(biāo)系下：通過近鄰采樣方法，將笛卡爾坐標(biāo)系的柵格轉(zhuǎn)化到當(dāng)前的極坐標(biāo)系中，如下圖所示，y由上到下，分別是-180度到180度，代表笛卡爾坐標(biāo)系中心向外的一條射線（至邊界），x從左到右代表0-100m的距離

根據(jù)上圖的極坐標(biāo)系，沿著每個(gè)角度，將其作為一條射線，將遇到的第一個(gè)概率大于閾值的柵格作為最遠(yuǎn)的點(diǎn)，并以此遍歷360°，生成下圖的RDM（radial distance map）

在生成了上述RDM圖后，可以進(jìn)一步得到如下在極坐標(biāo)系下的簡化后的可行區(qū)域圖，這就是最后所求的車輛可行駛區(qū)域的邊界圖，這是在極坐標(biāo)系下的表示，這個(gè)圖可以與RDM圖相轉(zhuǎn)換。

四、總結(jié)評(píng)價(jià)

4.1 實(shí)驗(yàn)

論文相關(guān)工作及相關(guān)屬性

可以看出，還沒有與作者較為合適的網(wǎng)絡(luò)用于對(duì)比，作者在2D檢測領(lǐng)域并沒有進(jìn)行對(duì)比實(shí)驗(yàn)，只在Free Space生成上與OccupancyNet做了對(duì)比試驗(yàn)。

Occupancy probability po < 0.4作為占位柵格的閾值，大于等于此值的認(rèn)為其是被占據(jù)的柵格。實(shí)驗(yàn)總共分為兩部分（2D檢測和Free Space prediction），每一部分都在內(nèi)部數(shù)據(jù)集和NuScenes數(shù)據(jù)集上做了實(shí)驗(yàn)，由于兩個(gè)數(shù)據(jù)集的設(shè)置大部分是一致的，所以這里僅介紹在內(nèi)部數(shù)據(jù)集上的實(shí)驗(yàn)。

2D檢測精度隨距離變化圖

在檢測距離增加時(shí)，明顯的可以看到精度的損失，同時(shí)增加分辨率可以有效增加對(duì)于行人等小目標(biāo)的檢測精度，減小量化損失

這里只介紹在作者內(nèi)部數(shù)據(jù)集的實(shí)驗(yàn)：增加輸入分辨率可以有效提高精度，這降低了量化采樣的損失，但是在Free Space生成上效果不大

在NuScenes數(shù)據(jù)集上與OccupancyNet的對(duì)比，雖然Ocuupied有兩倍的提升，但是其他性能都有下降。

4.2 評(píng)價(jià)（均為個(gè)人推測，看看就行）

本文的一個(gè)亮點(diǎn)，就是實(shí)時(shí)、多任務(wù)，作者在英偉達(dá)的嵌入式自動(dòng)駕駛設(shè)備上進(jìn)行了一系列優(yōu)化并達(dá)到了1.5ms遠(yuǎn)大于實(shí)時(shí)的速度要求，可以滿足實(shí)時(shí)性

作者并沒有在實(shí)驗(yàn)中驗(yàn)證前文中提到的對(duì)于靜態(tài)目標(biāo)、遮擋目標(biāo)等的效果提升，大部分實(shí)驗(yàn)只是在擺出自己的實(shí)驗(yàn)效果，沒有做檢測任務(wù)上的對(duì)比實(shí)驗(yàn)，感覺實(shí)驗(yàn)還是缺不少的

作者使用Lidar數(shù)據(jù)標(biāo)注GT用于Radar的任務(wù)標(biāo)簽，會(huì)存在很多問題：一個(gè)是Lidar visible的目標(biāo)Radar有些事invisible的，這樣會(huì)導(dǎo)致radar檢測假陽性會(huì)多一些，二是毫米波的透視能力強(qiáng)，加上多路干擾會(huì)檢測到一些遮擋的目標(biāo)，所以使用Lidar的標(biāo)簽會(huì)導(dǎo)致毫米波的透視性能下降，順便提一句，在之前的一個(gè)工作有說過并解決了這個(gè)問題，可以看我之前寫過的：https://zhuanlan.zhihu.com/p/568160922，在里面的一個(gè)工作“Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities”解決了這個(gè)問題。

審核編輯：郭婷