極致的感知性能與極簡(jiǎn)的感知pipeline一直是牽引我們持續(xù)向前的目標(biāo)。為了實(shí)現(xiàn)該目標(biāo)，打造一個(gè)性能優(yōu)異的端到端感知模型是重中之重，充分發(fā)揮深度神經(jīng)網(wǎng)絡(luò)+數(shù)據(jù)閉環(huán)的作用，才能打破當(dāng)前感知系統(tǒng)的性能上限，解決更多的corner case，讓系統(tǒng)更加魯棒。因此，在Sparse4D-v3中，我們主要做了兩部分工作，其一是進(jìn)一步提升模型的檢測(cè)性能，另一是將Sparse4D拓展為一個(gè)端到端跟蹤模型，實(shí)現(xiàn)多視角視頻到目標(biāo)運(yùn)動(dòng)軌跡端到端感知。

在Sparse4D-v2的落地過(guò)程中，我們發(fā)現(xiàn)其感知性能仍然具備一定的提升空間。

1. 首先，我們從訓(xùn)練優(yōu)化的角度對(duì)Sparse4D進(jìn)行了分析。我們觀察發(fā)現(xiàn)以稀疏形式作為輸出的模型，大多數(shù)都面臨這個(gè)收斂困難的問(wèn)題，收斂速度相對(duì)較慢、訓(xùn)練不穩(wěn)定導(dǎo)致最終指標(biāo)不高。因此我們參考DETR-like 2D檢測(cè)算法，引入了最為有效的提升模型訓(xùn)練穩(wěn)定性的輔助任務(wù)——"query denoising"，并將其在時(shí)序上進(jìn)行了拓展；

2. 其次，我們觀察到相比以dense-heatmap做輸出的模型，以稀疏形式作為輸出的模型其距離誤差明顯要更大。經(jīng)過(guò)分析與實(shí)驗(yàn)論證，我們認(rèn)為這是由于檢測(cè)框置信度不足以反應(yīng)框的精度導(dǎo)致的。因此，我們能提出另外一個(gè)輔助訓(xùn)練任務(wù) "quality estimation"，這個(gè)任務(wù)不僅讓模型的檢測(cè)指標(biāo)更高，還在一定程度上加速了模型收斂；

3. 最后，為了進(jìn)一步提升模型性能，我們還對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了小幅的優(yōu)化。對(duì)于instance feature直接的特征交互模塊，我們提出decoupled attention，在幾乎不增加推理時(shí)延的情況下提升了感知效果。

除了可以獲得更高效的檢測(cè)能力以外，我們致力于發(fā)展稀疏感知框架的另一原因就是其能夠更容易的將下游任務(wù)（如跟蹤、預(yù)測(cè)及規(guī)劃）以端到端的形式擴(kuò)展進(jìn)來(lái)。因此，在Sparse4D-v3中，我們成功地將多目標(biāo)跟蹤任務(wù)加入到模型中，實(shí)現(xiàn)了極致簡(jiǎn)潔的訓(xùn)練和推理流程，既無(wú)需在訓(xùn)練過(guò)程中添加跟蹤約束，也無(wú)需進(jìn)行任何的跟蹤后處理（關(guān)聯(lián)、濾波和生命周期關(guān)聯(lián)），并且NuScenes上的實(shí)驗(yàn)結(jié)果證實(shí)了該跟蹤方案的有效性。我們希望Sparse4D-v3的端到端跟蹤方案會(huì)推動(dòng)多目標(biāo)跟蹤算法的快速發(fā)展。

1. Temporal Instance Denoising

（a）中灰色和橙色模塊僅在訓(xùn)練中使用，推理階段只需保留； （b）灰色方格代表attention mask=True。

我們對(duì)GT加上小規(guī)模噪聲來(lái)生成noisy instance，用decoder來(lái)進(jìn)行去噪，這樣可以較好的控制instance和GT之間的偏差范圍，decoder 層之間匹配關(guān)系穩(wěn)定，讓訓(xùn)練更加魯棒，且大幅增加正樣本的數(shù)量，讓模型收斂更充分，以得到更好的結(jié)果。具體來(lái)說(shuō)，我們?cè)O(shè)置兩個(gè)分布來(lái)生產(chǎn)噪聲Delta_A，用于模擬產(chǎn)生正樣本和負(fù)樣本，對(duì)于3D檢測(cè)任務(wù)加噪公式如下：

3D檢測(cè)加噪公式

加上噪聲的GT框需要重新和原始GT進(jìn)行one2one匹配，確定正負(fù)樣本，而并不是直接將加了較大擾動(dòng)的GT作為負(fù)樣本，這可以緩解一部分的分配歧義性。噪聲GT需要轉(zhuǎn)為instance的形式以輸入進(jìn)網(wǎng)絡(luò)中，首先噪聲GT可以直接作為anchor，把噪聲GT編碼成高維特征作為anchor embed，相應(yīng)的instance feature直接以全0來(lái)初始化。

為了模擬時(shí)序特征傳遞的過(guò)程，讓時(shí)序模型能得到denoising任務(wù)更多的收益，我們將單幀denoising拓展為時(shí)序的形式。具體地，在每個(gè)訓(xùn)練step，隨機(jī)選擇部分noisy-instance組，將這些instance通過(guò)ego pose和velocity投影到當(dāng)前幀，投影方式與learnable instance一致。

具體實(shí)現(xiàn)中，我們?cè)O(shè)置了5組noisy-instance，每組最大GT數(shù)量限制為32，因此會(huì)增加5*32*2=320個(gè)額外的instance。時(shí)序部分，每次隨機(jī)選擇2組來(lái)投影到下一幀。每組instance使用attention mask完全隔開(kāi)，與DINO中的實(shí)現(xiàn)不一樣的是，我們讓noisy-instance也無(wú)法和learnable instance進(jìn)行特征交互，如上圖(b)。

2.Quality Estimation

除了denoising，我們引入了第二個(gè)輔助監(jiān)督任務(wù)，Quality Estimation，初衷一方面是加入更多信息讓模型收斂更平滑，另一方面是讓輸出的置信度排序更準(zhǔn)確。對(duì)于第二點(diǎn)，我們?cè)趯?shí)驗(yàn)過(guò)程中，發(fā)現(xiàn)兩個(gè)異?，F(xiàn)象：

1.相比dense-based算法，query-based算法的mATE(mean Average-Translation Error)指標(biāo)普遍較差，即使是confidence高的預(yù)測(cè)結(jié)果也會(huì)存在較大的距離誤差，如下圖(a)；

2. Sparse4D在行人上的Precision-Recall曲線前半段會(huì)迅速降低，如下圖(b)；

（a）confidence-translation error曲線，NuScenes val set

（b）precision-recall error曲線，NuScenes val set

上述現(xiàn)象說(shuō)明，Sparse4D輸出的分類(lèi)置信度并不適合用來(lái)判斷框的準(zhǔn)確程度，這主要是因?yàn)閛ne2one 匈牙利匹配過(guò)程中，正樣本離GT并不能保證一定比負(fù)樣本更近，而且正樣本的分類(lèi)loss并不隨著匹配距離而改變。而對(duì)比dense head，如CenterPoint或BEV3D，其分類(lèi)label為heatmap，隨著離GT距離增大，loss weight會(huì)發(fā)生變化。

因此，除了一個(gè)正負(fù)樣本的分類(lèi)置信度以外，還需要一個(gè)描述模型結(jié)果與GT匹配程度的置信度，也就是進(jìn)行Quality Estimation。對(duì)于3D檢測(cè)來(lái)說(shuō)，我們定義了兩個(gè)quality指標(biāo)，centerness和yawness，公式如下：

對(duì)于centerness和yawness，我們分別用cross entropy loss和focal loss來(lái)進(jìn)行訓(xùn)練。

從上圖的曲線來(lái)看，對(duì)比Sparse4D v3和v2，可以看出加入Quality Estimation之后，有效緩解了排序不準(zhǔn)確的問(wèn)題。

3. Decoupled Attention

Sparse4D中有兩個(gè)instance attention模塊，1）instance self-attention和2）temporal instance cross-attention。在這兩個(gè)attention模塊中，將instance feature和anchor embed相加作為query與key，在計(jì)算attention weights時(shí)一定程度上會(huì)存在特征混淆的問(wèn)題，如圖下所示。

為了解決這問(wèn)題，我們對(duì)attention模塊進(jìn)行了簡(jiǎn)單的改進(jìn)，將所有特征相加操作換成了拼接，提出了decoupled attention module，結(jié)構(gòu)如下圖所示。

4. End to End 3D Multi-object Tracking

由于Sparse4D已經(jīng)實(shí)現(xiàn)了目標(biāo)檢測(cè)的端到端（無(wú)需dense-to-sparse的解碼），進(jìn)一步的我們考慮將端到端往檢測(cè)的下游任務(wù)進(jìn)行拓展，即多目標(biāo)跟蹤。我們發(fā)現(xiàn)當(dāng)Sparse4D經(jīng)過(guò)充分檢測(cè)任務(wù)的訓(xùn)練之后，instance在時(shí)序上已經(jīng)具備了目標(biāo)一致性了，即同一個(gè)instance始終檢測(cè)同一個(gè)目標(biāo)。因此，我們無(wú)需對(duì)訓(xùn)練流程進(jìn)行任何修改，只需要在inference階段對(duì)instance進(jìn)行ID assign即可，infer pipeline如下所示。

對(duì)比如MOTR(v1 & v3)、TrackFormer、MUTR3D等一系列端到端跟蹤算法，我們的實(shí)現(xiàn)方式具有以下兩點(diǎn)不同：

訓(xùn)練階段，無(wú)需進(jìn)行任何tracking的約束。這一做法一定程度上打破了對(duì)多目標(biāo)跟蹤訓(xùn)練的常規(guī)認(rèn)知，我們進(jìn)行以下簡(jiǎn)單分析：

a. 對(duì)于3D檢測(cè)任務(wù)，我們加入了他車(chē)的運(yùn)動(dòng)補(bǔ)償，當(dāng)上一幀檢測(cè)結(jié)果和速度估計(jì)準(zhǔn)確時(shí)，投影到當(dāng)前幀的temporal instance就可以準(zhǔn)確的匹配到同一目標(biāo)。因此，我們認(rèn)為目標(biāo)檢測(cè)任務(wù)的優(yōu)化目標(biāo)和目標(biāo)跟蹤一致，當(dāng)檢測(cè)任務(wù)訓(xùn)練充分時(shí)，即使不需要加入tracking約束，也可以獲得不錯(cuò)的跟蹤效果。加入tracking 約束的實(shí)驗(yàn)我們也嘗試過(guò)，但會(huì)導(dǎo)致檢測(cè)和跟蹤指標(biāo)均降低；

b. 相比于MOTR等2D跟蹤算法，3D跟蹤可以利用運(yùn)動(dòng)補(bǔ)償，一定程度上消除檢測(cè)和跟蹤任務(wù)在優(yōu)化目標(biāo)上的GAP，我認(rèn)為這可能是Sparse4D能去掉tracking 約束的一大原因；

c. 另外，相比于MUTR3D等3D跟蹤算法，Sparse4D的檢測(cè)精度顯著高于MUTR3D，也只有當(dāng)檢測(cè)精度足夠高時(shí)，才能擺脫對(duì)tracking 約束的依賴(lài)。

2. Temporal instance不需要卡高閾值，大部分temporal instance不表示一個(gè)歷史幀的檢測(cè)目標(biāo)。MOTR等方法中，為了更貼近目標(biāo)跟蹤任務(wù)，采用的track query會(huì)經(jīng)過(guò)高閾值過(guò)濾，每個(gè)track query表示一個(gè)確切的檢測(cè)目標(biāo)。而Sparse4D中的temporal instance設(shè)計(jì)出發(fā)點(diǎn)是為了實(shí)現(xiàn)時(shí)序特征融合，我們發(fā)現(xiàn)有限的temporal instance數(shù)量會(huì)降低時(shí)序模型的性能，因此我們保留了更多數(shù)量的temporal instance，即使大部分instance為負(fù)樣本。

5. 實(shí)驗(yàn)驗(yàn)證

Ablation Study

在NuScenes validation數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn)，可以看出Sparse4D-v3的幾個(gè)改進(jìn)點(diǎn)（temporal instance denoising、decoupled attention和quality estimation）對(duì)感知性能均有提升。

Ablation Experiments of Sparse4D-v3

Compare with SOTA

在NuScenes detection和tracking兩個(gè)benchmark上，Sparse4D均達(dá)到了SOTA水平。

Results of Detection 3D on NuScenes Validation Set

Results of Detection 3D on NuScenes Test Set

Results of Tracking 3D on NuScenes Validation Set

Results of Tracking 3D on NuScenes Test Set

Cloud-Based Performance Boost

針對(duì)云端系統(tǒng)，為了進(jìn)一步提升模型的性能，我們進(jìn)行了Offline 模型和加大backbone的嘗試。

1. Offline 模型是通過(guò)加入未來(lái)幀特征，讓模型獲得更好效果，速度估計(jì)精度大幅提升，感知結(jié)果也更加平滑，對(duì)云端真值系統(tǒng)具有重要的意義。具體實(shí)現(xiàn)上，我們用Sparse4D-v1的多幀采樣的方式來(lái)融合未來(lái)幀特征，共加入了未來(lái)8幀的特征。這里的未來(lái)幀融合方式計(jì)算復(fù)雜度較高，如何搭建更加高效的Offline 模型，也是今后重要的研究方向之一；

2. 我們采用EVA02-large作為backbone，這一改進(jìn)帶來(lái)的性能提升非常顯著。特別是對(duì)于稀有類(lèi)別，EVA02的檢測(cè)精度有10+個(gè)點(diǎn)的提升。這主要得益于EVA02具有更大的參數(shù)量，經(jīng)過(guò)更充分的預(yù)訓(xùn)練，其參數(shù)量是ResNet101/VoVNet的3倍，并且在ImageNet-21k基于EVA-CLIP蒸餾+Mask Image Model的形式進(jìn)行了充分的自監(jiān)督訓(xùn)練。大參數(shù)量+大數(shù)據(jù)+自監(jiān)督訓(xùn)練，讓模型收斂到更平坦的極值點(diǎn)，更加魯棒，具備更強(qiáng)的泛化性；

我們最終在NuScenes test數(shù)據(jù)集上獲得了NDS=71.9和AMOTA=67.7，在部分指標(biāo)上甚至超過(guò)了LiDAR-based和multi-modality的模型。

展望與總結(jié)

在對(duì)長(zhǎng)時(shí)序稀疏化3D 目標(biāo)檢測(cè)的進(jìn)一步探索過(guò)程中，我們主要有如下的收獲：

1. 卓越的感知性能：我們?cè)谙∈韪兄蚣芟逻M(jìn)行了一系列性能優(yōu)化，在不增加推理計(jì)算量的前提下，讓Sparse4D在檢測(cè)和跟蹤任務(wù)上都取得了SOTA的水平；

2. 端到端多目標(biāo)跟蹤：在無(wú)需對(duì)訓(xùn)練階段進(jìn)行任何修改的情況下，實(shí)現(xiàn)了從多視角視頻到目標(biāo)軌跡的端到端感知，進(jìn)一步減小對(duì)后處理的依賴(lài)，算法結(jié)構(gòu)和推理流程非常簡(jiǎn)潔。

我們希望Sparse4D-v3能夠成為融合感知算法研究中的新的baseline，更多的研發(fā)者已經(jīng)加入進(jìn)來(lái)。我們這里給出幾個(gè)值得進(jìn)一步探索的方向：

1. Sparse4D-v3中對(duì)多目標(biāo)跟蹤的探索還比較初步，跟蹤性能還有提升空間；

2. 如何在端到端跟蹤的基礎(chǔ)上，進(jìn)一步擴(kuò)展下游任務(wù)（如軌跡預(yù)測(cè)和端到端planning）是重要的研究方向；

3. 將Sparse4D拓展為多模態(tài)模型，具有非常大的應(yīng)用價(jià)值；

4. Sparse4D還有待擴(kuò)展為一個(gè)并行的多任務(wù)模型，比如加入online mapping、2D detection等。

.

審核編輯：湯梓紅