激光雷達(dá)在自動(dòng)駕駛、無(wú)人機(jī)和機(jī)器人領(lǐng)域受到越來(lái)越多的關(guān)注，對(duì)于點(diǎn)云的分類(lèi)、檢測(cè)和分割的視覺(jué)任務(wù)也在高速發(fā)展。但由于激光雷達(dá)產(chǎn)生的點(diǎn)云十分稀疏且不規(guī)則，圖像領(lǐng)域的方法無(wú)法有效地拓展到三維點(diǎn)云的分析和處理中。

為了有效處理這一問(wèn)題，來(lái)自香港中文大學(xué)和商湯的研究人員們通過(guò)對(duì)目標(biāo)的部分感知和聚合對(duì)點(diǎn)云特征進(jìn)行抽取和分析，提出了可以精確預(yù)測(cè)目標(biāo)內(nèi)部相對(duì)位置并給出三維候選框的網(wǎng)絡(luò)架構(gòu)；同時(shí)利用可差分的ROI-aware池化和點(diǎn)云聚合網(wǎng)絡(luò)對(duì)內(nèi)部信息進(jìn)行提取和聚合；最后在目標(biāo)內(nèi)部各部分空間相關(guān)信息的輔助下實(shí)現(xiàn)了高效的三維點(diǎn)云目標(biāo)檢測(cè)算法Part-A^2 Net(Part-Aware and Aggregation)。

圖中可以看到預(yù)測(cè)出的結(jié)果不僅包含了每個(gè)框的坐標(biāo)，目標(biāo)內(nèi)部點(diǎn)的顏色還表示了每個(gè)點(diǎn)的相對(duì)位置，對(duì)于提高目標(biāo)檢測(cè)的性能十分重要。

目前的三維檢測(cè)算法主要集中在以下幾個(gè)方法。

一類(lèi)方法將點(diǎn)云投影到鳥(niǎo)瞰視圖下并利用2D的卷積網(wǎng)絡(luò)進(jìn)行特征抽取從而實(shí)現(xiàn)三維目標(biāo)檢測(cè)；

另一類(lèi)方法則將三維空間劃分為規(guī)則的體素，并利用三維(稀疏)卷積進(jìn)行特征抽?。?/p>

還有的方法利用點(diǎn)云與圖像結(jié)合，在二維圖像中檢測(cè)出目標(biāo)bbox隨后利用PointNet基于2D結(jié)果對(duì)點(diǎn)云進(jìn)行裁剪和處理并獲取三維框。

但這些方法都會(huì)受到來(lái)自投影過(guò)程、體素量化過(guò)程或2D目標(biāo)檢測(cè)器造成信息損失的影響，無(wú)法精確有效地進(jìn)行三維點(diǎn)云的目標(biāo)檢測(cè)。為了更有效地處理三維點(diǎn)云，研究人員們開(kāi)始嘗試直接從點(diǎn)云中抽取特征生成3D候選框，利用三維bbox標(biāo)注直接生成對(duì)前景和背景進(jìn)行有效分離的標(biāo)簽。在此過(guò)程中研究人員發(fā)現(xiàn)三維bbox不僅提供了分割的標(biāo)簽，同時(shí)還精確地給出了目標(biāo)內(nèi)部各部分精確的相對(duì)位置。

與二維圖像中會(huì)相互遮擋的物體不同，三維點(diǎn)云中的物體都是天然分離的，使得三維目標(biāo)內(nèi)部各個(gè)部分的相對(duì)位置可以精確獲取，這些方法將有效提高目標(biāo)檢測(cè)方法的性能。基于這樣的觀察結(jié)果，研究人員提出了一個(gè)部分感知和聚合的網(wǎng)絡(luò)結(jié)構(gòu)來(lái)進(jìn)行三維點(diǎn)云目標(biāo)檢測(cè)。

研究人員從三維標(biāo)注數(shù)據(jù)獲得的目標(biāo)內(nèi)部各部分的相對(duì)位置標(biāo)簽和分割標(biāo)簽來(lái)輔助三維候選框的生成過(guò)程，隨后對(duì)每個(gè)候選框內(nèi)的3D目標(biāo)部分位置進(jìn)行聚合來(lái)為bbox評(píng)分并對(duì)框的位置進(jìn)行優(yōu)化。這種方法為點(diǎn)云處理提供了新的視角，并幫助算法在目標(biāo)檢測(cè)中取得更好的結(jié)果。

上圖中可以看到算法分為了兩個(gè)主要的部分，部分感知模塊用于精確估計(jì)目標(biāo)內(nèi)部各個(gè)部分/點(diǎn)間的相對(duì)位置，同時(shí)給出三維的候選框；聚合部分針對(duì)每個(gè)候選框內(nèi)的點(diǎn)進(jìn)行ROI池化和分組，實(shí)現(xiàn)特征抽??；隨后利用聚合網(wǎng)絡(luò)來(lái)對(duì)框進(jìn)行評(píng)測(cè)并給予內(nèi)部的相對(duì)空間信息對(duì)位置進(jìn)行優(yōu)化。

估計(jì)對(duì)象內(nèi)各部分的位置

為了有效分離出點(diǎn)云中的前景和背景并預(yù)測(cè)出對(duì)象內(nèi)部各部分的相對(duì)位置，需要從點(diǎn)云中獲取可分辨的逐點(diǎn)特征。

研究人員首先使用了體素化的三維空間并利用卷積對(duì)非空的體素進(jìn)行特征抽取。每個(gè)體素的中心被視為一個(gè)新的點(diǎn)，這些點(diǎn)構(gòu)成了一個(gè)與原始點(diǎn)云近似的新點(diǎn)云（體素大小5cm5cm10cm，空間大小70m80m4m)。在使用的KITTI數(shù)據(jù)中每個(gè)數(shù)據(jù)樣本包含了大概16000非空的體素。

用于特征抽取額U-Net架構(gòu)和對(duì)應(yīng)的上采樣模塊

為了對(duì)稀疏的體素信息進(jìn)行高效的處理，研究人員利用U-Net的架構(gòu)對(duì)點(diǎn)云進(jìn)行了下采樣和特征抽取。為了得到前景分割和各部分位置的預(yù)測(cè)，還需要對(duì)進(jìn)行上采樣解碼。模塊中同時(shí)對(duì)隱含特征和底層特征進(jìn)行融合，最后通過(guò)稀疏逆卷積實(shí)現(xiàn)下采樣。

對(duì)象內(nèi)各部分的相對(duì)位置信息是網(wǎng)絡(luò)對(duì)目標(biāo)進(jìn)行識(shí)別和檢測(cè)的保證。例如車(chē)輛的側(cè)面幾乎是垂直于地面的，而輪子是與地面相接觸的。通過(guò)學(xué)習(xí)和估計(jì)前景分割和目標(biāo)內(nèi)部各個(gè)點(diǎn)的相對(duì)位移關(guān)系將使得網(wǎng)絡(luò)可以學(xué)會(huì)推理出目標(biāo)的位姿和形態(tài)，提高檢測(cè)性能。在U-Net主干網(wǎng)絡(luò)的基礎(chǔ)上，模型通過(guò)兩個(gè)分支分別進(jìn)行前景分割和目標(biāo)內(nèi)部個(gè)部分的位置預(yù)測(cè)。針對(duì)目標(biāo)內(nèi)部的點(diǎn)，需要先將全局的三維坐標(biāo)轉(zhuǎn)換為局部的坐標(biāo)進(jìn)行分析。在三維點(diǎn)云的bbox中天然的包含了框中每一個(gè)點(diǎn)在對(duì)象內(nèi)部的坐標(biāo)。研究人員通過(guò)將目標(biāo)內(nèi)部的點(diǎn)轉(zhuǎn)換到框原點(diǎn)坐標(biāo)系中并利用框的w,l.h來(lái)歸一化，得到了內(nèi)部點(diǎn)在內(nèi)部坐標(biāo)系下的新表示，并作為預(yù)測(cè)內(nèi)部各部分點(diǎn)相對(duì)位置的標(biāo)簽。網(wǎng)絡(luò)將通過(guò)優(yōu)化二值化的交叉熵來(lái)實(shí)現(xiàn)對(duì)于每一個(gè)對(duì)象內(nèi)部點(diǎn)相對(duì)位置的預(yù)測(cè)。

最后為了生成三維候選框來(lái)聚合各個(gè)目標(biāo)內(nèi)部的位置信息，研究人員在U-Net的特征圖位置補(bǔ)充了一個(gè)RPN(regional proposal network)結(jié)構(gòu)，通過(guò)對(duì)1/8下采樣的特征圖和不同高度融合的鳥(niǎo)瞰特征圖進(jìn)行處理生成3D候選區(qū)域。

具有ROI感知的點(diǎn)云特征池化

在得到目標(biāo)內(nèi)部各個(gè)的相對(duì)位置和一系列的三維候選框后，將要對(duì)box進(jìn)行評(píng)分，并通過(guò)聚合同一候選框內(nèi)的所有點(diǎn)的相對(duì)信息來(lái)實(shí)現(xiàn)候選框的位置優(yōu)化。

為了避免池化帶來(lái)了信息損失和模糊，研究人員提出了ROI感知的點(diǎn)云池化模塊，將3D候選分配到固定大小(14*14*14)的均勻體素中去。體素中的特征通過(guò)(最大池化，均值池化)聚合內(nèi)部點(diǎn)的特征來(lái)得到，并將空體素的特征設(shè)置為0。池化過(guò)程中聯(lián)合編碼空體素。這一過(guò)程將不同的三維候選框歸一化到了相同的坐標(biāo)系下，其中每個(gè)體素都編碼了對(duì)應(yīng)候選框中柵格特征。

內(nèi)部位置的聚合與三維bbox的優(yōu)化

研究人員通過(guò)聚合候選框內(nèi)部所有三維點(diǎn)的內(nèi)部相對(duì)位置來(lái)評(píng)價(jià)候選框的質(zhì)量，并通過(guò)基于學(xué)習(xí)的優(yōu)化方法來(lái)解決這一問(wèn)題。

針對(duì)每個(gè)三維候選框，首先通過(guò)平均池化預(yù)測(cè)每個(gè)點(diǎn)的位置，通過(guò)最大池化獲取每個(gè)點(diǎn)的特征。隨后通過(guò)逐級(jí)處理的方式來(lái)最終預(yù)測(cè)最終的得分與優(yōu)化后的bbox坐標(biāo)。

結(jié)果

在實(shí)驗(yàn)過(guò)程中，研究人員結(jié)合了三部分的損失函數(shù)來(lái)對(duì)模型進(jìn)行了訓(xùn)練，分別是復(fù)雜前景分割的focal損失，負(fù)責(zé)回歸每個(gè)內(nèi)部點(diǎn)相對(duì)位移的二進(jìn)制交叉熵以及負(fù)責(zé)進(jìn)行三維候選框生成的平滑L1損失。

針對(duì)聚合階段還包括了IoU回歸的二進(jìn)制交叉熵以及位置優(yōu)化的平滑L1。研究人員在KITTI上進(jìn)行了實(shí)現(xiàn)，下表顯示了這一方法在平均精度上顯著高于先前的解決方案。

同時(shí)消溶性分析還顯示這一方法通過(guò)對(duì)于特征的有效學(xué)習(xí)有效提高了召回率和精度。

最終的結(jié)果可以看到對(duì)于場(chǎng)景中車(chē)輛的預(yù)測(cè)性能優(yōu)異，而每個(gè)框內(nèi)的部分位置也實(shí)現(xiàn)了較為精確的預(yù)測(cè)。