來源：3D視覺工坊

0. 這篇文章干了啥？

3D多目標(biāo)跟蹤（3D MOT）在各種機(jī)器人應(yīng)用中發(fā)揮著關(guān)鍵作用，例如自動駕駛車輛。為了在駕駛時避免碰撞，機(jī)器人汽車必須可靠地跟蹤道路上的物體，并準(zhǔn)確估計它們的運(yùn)動狀態(tài)，例如速度和加速度。盡管近年來3D MOT的發(fā)展取得了很大進(jìn)展，但大多數(shù)方法仍然使用近似的物體狀態(tài)作為數(shù)據(jù)關(guān)聯(lián)的中間特征，而不是明確地優(yōu)化模型在狀態(tài)估計上的性能。盡管存在一些跟蹤方法，它們通過采用基于濾波器的算法（如卡爾曼濾波器（KF））來預(yù)測運(yùn)動狀態(tài)，但它們通常通過復(fù)雜的啟發(fā)式規(guī)則來估計物體狀態(tài)，并且無法以數(shù)據(jù)驅(qū)動的方式輕松利用外觀特征或原始傳感器測量值。雖然有一些基于機(jī)器學(xué)習(xí)的方法將預(yù)測頭添加到檢測模型中以估計運(yùn)動狀態(tài)，但由于計算和內(nèi)存限制，它們往往無法從長期時間信息中產(chǎn)生一致的軌跡。

為了解決現(xiàn)有方法的局限性，這篇文章引入了STT，一種帶有Transformer的狀態(tài)跟蹤模型，它將數(shù)據(jù)關(guān)聯(lián)和狀態(tài)估計結(jié)合到一個單一模型中。模型架構(gòu)的核心是一個執(zhí)行數(shù)據(jù)關(guān)聯(lián)的Track-Detection Interaction（TDI）模塊，該模塊通過學(xué)習(xí)軌跡與其周圍檢測之間的交互來執(zhí)行數(shù)據(jù)關(guān)聯(lián)，以及一個Track State Decoder（TSD）模塊，它產(chǎn)生軌跡的狀態(tài)估計。

所有模塊都是聯(lián)合優(yōu)化的，這使得STT能夠在簡化系統(tǒng)復(fù)雜性的同時獲得優(yōu)越的性能?，F(xiàn)有的跟蹤評估主要使用多目標(biāo)跟蹤準(zhǔn)確度（MOTA）和多目標(biāo)跟蹤精度（MOTP）來衡量關(guān)聯(lián)和定位質(zhì)量，但它們不考慮其他狀態(tài)的質(zhì)量，例如速度和加速度。為了明確捕捉跟蹤性能的全面狀態(tài)估計質(zhì)量，將現(xiàn)有的評估指標(biāo)MOTA擴(kuò)展為Stateful MOTA（S-MOTA），它在標(biāo)簽預(yù)測匹配期間強(qiáng)制進(jìn)行準(zhǔn)確的狀態(tài)估計，將MOTP擴(kuò)展為MOTPS，它適用于任意狀態(tài)變量，以便評估位置以外的狀態(tài)估計質(zhì)量。

2. 摘要

在自動駕駛中，追蹤三維空間中的物體至關(guān)重要。為了在駕駛時確保安全，追蹤器必須能夠可靠地跟蹤物體跨幀，并準(zhǔn)確地估計它們的狀態(tài)，如當(dāng)前的速度和加速度。現(xiàn)有的工作經(jīng)常專注于關(guān)聯(lián)任務(wù)，而忽略了模型在狀態(tài)估計上的性能，或者部署復(fù)雜的啟發(fā)式方法來預(yù)測狀態(tài)。在本文中，我們提出了STT，一種使用Transformer構(gòu)建的具有狀態(tài)的跟蹤模型，它可以在場景中始終可靠地跟蹤物體，同時準(zhǔn)確地預(yù)測它們的狀態(tài)。STT通過長期歷史的檢測消耗豐富的外觀、幾何和運(yùn)動信號，并針對數(shù)據(jù)關(guān)聯(lián)和狀態(tài)估計任務(wù)進(jìn)行聯(lián)合優(yōu)化。由于標(biāo)準(zhǔn)的跟蹤指標(biāo)如MOTA和MOTP不能捕捉到在更廣泛的物體狀態(tài)范圍內(nèi)這兩個任務(wù)的綜合性能，我們使用稱為S-MOTA和MOTPS的新指標(biāo)來擴(kuò)展它們，以解決這一局限性。STT在Waymo Open Dataset上實(shí)現(xiàn)了具有競爭力的實(shí)時性能。

3. S-MOTA

S-MOTA度量的示意圖。MOTA只考慮了標(biāo)簽預(yù)測匹配中的欠條，而沒有揭示狀態(tài)誤差（例如，圖中所示的速度誤差）。S-MOTA通過額外的閾值化步驟來評估預(yù)測狀態(tài)的準(zhǔn)確性，從而解決了這一限制。

4. 主要貢獻(xiàn)

為了展示STT模型的有效性，作者在大規(guī)模Waymo Open Dataset（WOD）上進(jìn)行了大量實(shí)驗。STT在擴(kuò)展的S-MOTA和MOTPS指標(biāo)上取得了58.2的MOTA競爭性表現(xiàn)和最新的結(jié)果?？傮w貢獻(xiàn)總結(jié)如下：

1提出了一種3D MOT跟蹤器，它可以在一個可訓(xùn)練的模型中跟蹤對象并估計其運(yùn)動狀態(tài)。

2）我將現(xiàn)有的評估指標(biāo)擴(kuò)展為S-MOTA和MOTPS，以評估跟蹤性能，明確考慮狀態(tài)估計的質(zhì)量。

3）提出的模型在標(biāo)準(zhǔn)指標(biāo)和Waymo Open Dataset上的新擴(kuò)展指標(biāo)上的基準(zhǔn)模型上取得了改進(jìn)的性能和最新的結(jié)果。

5. 基本原理是啥？

STT概述。首先使用檢測編碼器來編碼所有的3D檢測，并提取每個軌跡的時間特征。這些時間特征被饋送到軌跡-檢測交互模塊中，以聚合周圍檢測的信息，并為每個軌跡生成關(guān)聯(lián)分?jǐn)?shù)和預(yù)測狀態(tài)。軌跡狀態(tài)解碼器還利用時間特征來生成前一幀（t-1）中的軌跡狀態(tài)。所有模塊都是聯(lián)合優(yōu)化的。

6. 實(shí)驗結(jié)果

為了展示STT模型的有效性，將其與Waymo開放數(shù)據(jù)集上發(fā)表的最新方法進(jìn)行比較。大多數(shù)3D MOT算法采用檢測跟蹤范式，每個算法都使用不同的檢測骨干來進(jìn)行跟蹤算法。由于STT是一種有狀態(tài)的跟蹤器，可以與任意檢測模型一起使用，需要將其與使用與STT相同檢測模型的跟蹤方法進(jìn)行比較。首先將STT與這些最新方法以及KF基線在Waymo開放數(shù)據(jù)集的官方3D跟蹤指標(biāo)上進(jìn)行比較。這些指標(biāo)包括MOTA、MOTP、假陽性（FP）、假陰性（FN）和不匹配（標(biāo)識切換）。結(jié)果如表I所示。STT在車輛類型上的MOTA得分比KF基線高出+1.7分，而在其他指標(biāo)上則與之持平，這表明在STT的學(xué)習(xí)過程中包含狀態(tài)估計的好處。需要注意的是，由于兩種方法使用了不同的截止分?jǐn)?shù)，KF和STT模型的漏檢率略有不同。KF基線的良好性能還表明，這些官方指標(biāo)在很大程度上依賴于檢測的質(zhì)量。一個簡單的跟蹤器可以通過使用更強(qiáng)的物體檢測器（例如我們的KF基線與CenterPoint的比較）來實(shí)現(xiàn)比其他經(jīng)過高度調(diào)整的方法更好的性能。

為了展示STT在狀態(tài)估計上的優(yōu)勢，進(jìn)一步使用有狀態(tài)度量S-MOTA對其進(jìn)行了比較，如表I所示。這個度量要求預(yù)測/地面實(shí)況匹配具有足夠高的預(yù)測速度和加速度質(zhì)量。車輛的速度和加速度閾值分別設(shè)置為1.0m/s和1.0m/s2，行人的速度和加速度閾值分別設(shè)置為0.5m/s和0.5m/s2。STT的SMOTA得分比KF基線分別高出13.4分，這表明盡管STT的性能在數(shù)據(jù)關(guān)聯(lián)指標(biāo)上接近KF基線，但在狀態(tài)估計上卻明顯優(yōu)于KF模型。這個結(jié)果也表明，S-MOTA度量對于區(qū)分在MOTA結(jié)果中具有類似關(guān)聯(lián)質(zhì)量的方法是有用的。

為了評估推理時間，使用XLA對STT模型進(jìn)行編譯，使用Nvidia PG189 GPU，單獨(dú)對STT進(jìn)行推理的時間為2.9毫秒，可以實(shí)現(xiàn)端到端跟蹤的實(shí)時性能。

MOTPS結(jié)果為了進(jìn)一步了解STT對狀態(tài)估計的改進(jìn)，報告了STT和兩個基線的MOTPS指標(biāo)結(jié)果：i) 卡爾曼濾波器，和ii) SWFormer+State Head（SH），其中向原始SWFormer檢測器添加了一個狀態(tài)頭來預(yù)測每個檢測到的框的速度和加速度。這三種方法都使用相同的檢測模型，這消除了檢測質(zhì)量的影。如表II所示，與兩個基線相比，STT模型在總體狀態(tài)估計結(jié)果方面表現(xiàn)最佳。在速度估計方面，令人驚訝的是，SWFormer+SH是靜態(tài)對象的最佳狀態(tài)估計器，但STT對于移動對象的性能更好。SWFormer+SH還產(chǎn)生了| MOTPvelocity |的最高值，而STT的值最低，表明SWFormer+SH在靜態(tài)對象上的優(yōu)越性能可能是由于過擬合。另一方面，KF基線在靜態(tài)對象的狀態(tài)預(yù)測上表現(xiàn)不佳，但在移動對象上可以取得不錯的性能。這可能是因為靜態(tài)對象的微小抖動會在KF狀態(tài)估計中產(chǎn)生較大的噪聲，而基于學(xué)習(xí)的方法對此更加魯棒。

STT的相對收益在加速度估計方面更為突出。STT對于移動對象的加速度最佳，對于靜態(tài)對象與SWFormer+SH的性能相當(dāng)。與兩個基線相比，STT具有最低的方差，如|MOTPacceleration|所反映的那樣。加速度作為二階統(tǒng)計量更具挑戰(zhàn)性。因此，模型必須能夠穩(wěn)健地處理小噪聲，并有效地推斷長期運(yùn)動。STT具備這兩種品質(zhì)，其魯棒性和一致性體現(xiàn)在指標(biāo)結(jié)果中。

消融研究。STT的關(guān)鍵創(chuàng)新之一是其統(tǒng)一的學(xué)習(xí)框架，它同時優(yōu)化數(shù)據(jù)關(guān)聯(lián)和狀態(tài)估計任務(wù)。為了驗證聯(lián)合優(yōu)化狀態(tài)估計的聲明，創(chuàng)建了一個僅使用數(shù)據(jù)關(guān)聯(lián)損失進(jìn)行訓(xùn)練的STT基線。結(jié)果報告在表III的前兩行中。通過狀態(tài)估計和數(shù)據(jù)關(guān)聯(lián)的聯(lián)合優(yōu)化，STT在車輛和行人類別的MOTA分別提高了+1.8和+4。從STT獲得的這兩個類別的SMOTA改進(jìn)分別為+17.1和+42.1。這些結(jié)果表明數(shù)據(jù)關(guān)聯(lián)和狀態(tài)估計是高度互補(bǔ)的任務(wù)，應(yīng)該進(jìn)行聯(lián)合優(yōu)化。

長期的時間建?？梢蕴岣邤?shù)據(jù)關(guān)聯(lián)質(zhì)量和更精確的狀態(tài)估計。為了驗證時間特征對跟蹤性能的影響，評估了具有不同軌跡歷史長度的STT。如表III的第3到第6行所示的結(jié)果表明，更長的軌跡歷史可以導(dǎo)致更好的跟蹤性能。隨著軌跡歷史長度增加到5，MOTA得分也會增加，之后就會飽和。然而，即使對于軌跡歷史長度為20的情況，S-MOTA得分仍然持續(xù)大幅增加。這表明長期時間建模對數(shù)據(jù)關(guān)聯(lián)和狀態(tài)估計任務(wù)至關(guān)重要。

7. 總結(jié) & 未來工作

這篇文章提出了STT，這是一種基于Transformer的模型，它在一個模型中同時進(jìn)行數(shù)據(jù)關(guān)聯(lián)和狀態(tài)估計。STT強(qiáng)調(diào)了這種聯(lián)合估計任務(wù)對自動駕駛的重要性，這需要對三維實(shí)際空間中的對象進(jìn)行一致的跟蹤和準(zhǔn)確的狀態(tài)估計。為了解決現(xiàn)有評估方法的局限性，將MOTA指標(biāo)擴(kuò)展到S-MOTA，它在評估關(guān)聯(lián)質(zhì)量時強(qiáng)制考慮了狀態(tài)估計質(zhì)量，并將MOTP擴(kuò)展到MOTPs，它捕獲了對象的更廣泛的運(yùn)動狀態(tài)。評估結(jié)果表明，STT在Waymo開放數(shù)據(jù)集上具有競爭力的結(jié)果，并在狀態(tài)估計方面表現(xiàn)出色。我們希望我們提出的解決方案和擴(kuò)展的度量標(biāo)準(zhǔn)能夠促進(jìn)這一領(lǐng)域的未來工作。