0. 這篇文章干了啥？

運(yùn)動(dòng)估計(jì)一直通過(guò)兩種范式來(lái)處理：特征跟蹤和光流。雖然每種方法都可以實(shí)現(xiàn)許多應(yīng)用，但它們都不能完全捕捉視頻中的運(yùn)動(dòng)：光流只能為相鄰幀產(chǎn)生運(yùn)動(dòng)，而特征跟蹤只能跟蹤稀疏像素。

一個(gè)理想的解決方案將涉及在視頻序列中估計(jì)密集和長(zhǎng)程像素軌跡的能力。但當(dāng)前的解決方案在挑戰(zhàn)性場(chǎng)景中仍然存在困難，特別是在復(fù)雜變形伴隨頻繁自遮擋的情況下。這種困難的一個(gè)潛在原因在于僅在二維圖像空間中進(jìn)行跟蹤，從而忽略了運(yùn)動(dòng)的固有三維性質(zhì)。由于運(yùn)動(dòng)發(fā)生在三維空間中，某些屬性只能通過(guò)三維表示來(lái)充分表達(dá)。例如，旋轉(zhuǎn)可以用三維中的三個(gè)參數(shù)簡(jiǎn)潔地解釋，遮擋可以簡(jiǎn)單地用z緩沖表示，但在二維表示中要復(fù)雜得多。圖像投影可以將空間上遠(yuǎn)離的區(qū)域帶到二維空間中，這可能導(dǎo)致用于相關(guān)性的局部二維鄰域可能包含不相關(guān)的上下文（特別是在遮擋邊界附近），從而導(dǎo)致推理困難。

為了解決這些挑戰(zhàn)，作者建議利用最先進(jìn)的單目深度估計(jì)器的幾何先驗(yàn)，將二維像素提升到三維，并在三維空間中進(jìn)行跟蹤。這涉及在三維空間中進(jìn)行特征相關(guān)性計(jì)算，為跟蹤提供更有意義的三維上下文，特別是在復(fù)雜運(yùn)動(dòng)的情況下。在三維中跟蹤還允許強(qiáng)制執(zhí)行三維運(yùn)動(dòng)先驗(yàn)，例如ARAP約束。鼓勵(lì)模型學(xué)習(xí)哪些點(diǎn)一起剛性移動(dòng)可以幫助跟蹤模糊或被遮擋的像素，因?yàn)樗鼈兊倪\(yùn)動(dòng)可以通過(guò)同一剛性組中相鄰的清晰可見(jiàn)區(qū)域推斷出來(lái)。

下面一起來(lái)閱讀一下這項(xiàng)工作~

1. 論文信息

標(biāo)題：SpatialTracker: Tracking Any 2D Pixels in 3D Space

作者：Yuxi Xiao, Qianqian Wang, Shangzhan Zhang, Nan Xue, Sida Peng, Yujun Shen, Xiaowei Zhou

機(jī)構(gòu)：浙江大學(xué)、UC伯克利、螞蟻集團(tuán)

原文鏈接：https://arxiv.org/abs/2404.04319

代碼鏈接：https://github.com/henry123-boy/SpaTracker

官方主頁(yè)：https://henry123-boy.github.io/SpaTracker/

2. 摘要

視頻中恢復(fù)密集且長(zhǎng)距離的像素運(yùn)動(dòng)是一個(gè)具有挑戰(zhàn)性的問(wèn)題。部分困難來(lái)自于3D到2D的投影過(guò)程，導(dǎo)致2D運(yùn)動(dòng)領(lǐng)域出現(xiàn)遮擋和不連續(xù)性。雖然2D運(yùn)動(dòng)可能很復(fù)雜，但我們認(rèn)為潛在的3D運(yùn)動(dòng)通常是簡(jiǎn)單且低維的。在這項(xiàng)工作中，我們提出通過(guò)估計(jì)3D空間中的點(diǎn)軌跡來(lái)減輕圖像投影引起的問(wèn)題。我們的方法，命名為SpatialTracker，使用單眼深度估計(jì)器將2D像素轉(zhuǎn)換為3D，使用三平面表示高效地表示每一幀的3D內(nèi)容，并使用變換器執(zhí)行迭代更新來(lái)估計(jì)3D軌跡。在3D中進(jìn)行跟蹤使我們能夠利用盡可能剛性（ARAP）約束，同時(shí)學(xué)習(xí)將像素聚類到不同剛性部分的剛性嵌入。廣泛的評(píng)估表明，我們的方法在定性和定量上都實(shí)現(xiàn)了最先進(jìn)的跟蹤性能，特別是在諸如平面外旋轉(zhuǎn)之類具有挑戰(zhàn)性的場(chǎng)景中。

3. 效果展示

在三維空間中跟蹤2D像素。為了估計(jì)遮擋和復(fù)雜3D運(yùn)動(dòng)下的2D運(yùn)動(dòng)，作者將2D像素提升到3D，并在3D空間中執(zhí)行跟蹤。

與TAPIR和Cotracker的2D跟蹤進(jìn)行比較。SpatialTracker可以處理具有挑戰(zhàn)性的場(chǎng)景，如平面外旋轉(zhuǎn)和遮擋。

視頻中剛性部件的分割。SpatialTracker通過(guò)聚類它們的3D軌跡來(lái)識(shí)別場(chǎng)景中不同的剛性部分。

4. 主要貢獻(xiàn)

（1）作者建議使用三平面特征圖來(lái)表示每個(gè)幀的三維場(chǎng)景，首先將圖像特征提升到三維特征點(diǎn)云，然后將其噴灑到三個(gè)正交平面上。三平面表示緊湊而規(guī)則，適合學(xué)習(xí)框架。

（2）三平面在三維空間中密集覆蓋，能夠提取任何三維點(diǎn)的特征向量進(jìn)行跟蹤。然后，通過(guò)迭代更新使用來(lái)自三平面表示的特征的變壓器預(yù)測(cè)的查詢像素的三維軌跡。

（3）為了使用三維運(yùn)動(dòng)先驗(yàn)正則化估計(jì)的三維軌跡，模型另外預(yù)測(cè)了每條軌跡的剛性嵌入，這使能夠軟地分組表現(xiàn)出相同剛性體運(yùn)動(dòng)的像素，并為每個(gè)剛性集群強(qiáng)制執(zhí)行ARAP正則化。作者證明了剛性嵌入可以通過(guò)自監(jiān)督學(xué)習(xí)，并產(chǎn)生不同剛性部分的合理分割。

（4）模型在各種公共跟蹤基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)的性能，包括TAP-Vid、BADJA和PointOdyssey。對(duì)具有挑戰(zhàn)性的互聯(lián)網(wǎng)視頻的定性結(jié)果還表明了模型處理快速?gòu)?fù)雜運(yùn)動(dòng)和延長(zhǎng)遮擋的出色能力。

5. 基本原理是啥？

Pipeline概述。首先使用三面編碼器將每個(gè)幀編碼為三面表示（a）。然后，使用從這些三面提取的特征作為輸入，使用變換器在三維空間中初始化并迭代更新點(diǎn)軌跡（c）。三維軌跡使用地面真實(shí)注釋進(jìn)行訓(xùn)練，并通過(guò)具有學(xué)習(xí)到的剛性嵌入的盡可能剛性（ARAP）約束進(jìn)行規(guī)范化（d）。ARAP約束強(qiáng)制要求具有相似剛性嵌入的點(diǎn)之間的三維距離隨時(shí)間保持恒定。這里dij表示點(diǎn)i和j之間的距離，而sij表示剛性相似性。SpatialTracker即使在快速移動(dòng)和嚴(yán)重遮擋下也能產(chǎn)生準(zhǔn)確的遠(yuǎn)距離運(yùn)動(dòng)軌跡（e）。

6. 實(shí)驗(yàn)結(jié)果

TAP-Vid基準(zhǔn)包含幾個(gè)數(shù)據(jù)集：TAPVid-DAVIS（約34-104幀的30個(gè)真實(shí)視頻）、TAP-Vid-Kinetics（250幀的1144個(gè)真實(shí)視頻）和RGB-Stacking（250幀的50個(gè)合成視頻）?；鶞?zhǔn)中的每個(gè)視頻都使用真實(shí)2D軌跡和遮擋進(jìn)行注釋。使用與TAP-Vid基準(zhǔn)相同的度量標(biāo)準(zhǔn)來(lái)評(píng)估性能：平均位置精度（<δavg）、平均Jaccard（AJ）和遮擋精度（OA）。SpatialTracker在所有三個(gè)數(shù)據(jù)集上一致優(yōu)于所有基線方法，除了Omnimotion之外，展示了在3D空間中進(jìn)行跟蹤的好處。Omnimotion還在3D中執(zhí)行跟蹤，并通過(guò)一次性優(yōu)化所有幀在RGB-Stacking上獲得最佳結(jié)果，但這需要非常昂貴的測(cè)試時(shí)間優(yōu)化。

BADJA是一個(gè)包含七個(gè)帶有關(guān)鍵點(diǎn)注釋的動(dòng)物移動(dòng)視頻的基準(zhǔn)。此基準(zhǔn)中使用的指標(biāo)包括基于段的準(zhǔn)確性（segA）和3px準(zhǔn)確性（δ3px）。SpatialTracker在δ3px方面表現(xiàn)出有競(jìng)爭(zhēng)力的性能，并在基于段的準(zhǔn)確性上大幅超過(guò)所有基線方法。

PointOdyssey是一個(gè)大規(guī)模的合成數(shù)據(jù)集，其中包含各種各樣的動(dòng)畫(huà)人物，從人類到動(dòng)物，置于不同的3D環(huán)境中。在PointOdyssey的測(cè)試集上評(píng)估，該測(cè)試集包含12個(gè)具有復(fù)雜運(yùn)動(dòng)的視頻，每個(gè)視頻大約有2000幀。采用PointOdyssey提出的評(píng)估度量標(biāo)準(zhǔn)，這些度量標(biāo)準(zhǔn)旨在評(píng)估非常長(zhǎng)的軌跡。SpatialTracker在所有度量標(biāo)準(zhǔn)上一貫優(yōu)于基線方法，并且優(yōu)勢(shì)明顯。特別是，作者展示了通過(guò)使用更準(zhǔn)確的地面真實(shí)深度，模型的性能可以進(jìn)一步提升。這表明了SpatialTracker在單目深度估計(jì)的進(jìn)步中持續(xù)改進(jìn)的潛力。

3D跟蹤結(jié)果。

7. 總結(jié) & 討論

在這項(xiàng)工作中，作者展示了一個(gè)適當(dāng)設(shè)計(jì)的三維表示對(duì)解決視頻中稠密且遠(yuǎn)距離運(yùn)動(dòng)估計(jì)的長(zhǎng)期挑戰(zhàn)至關(guān)重要。運(yùn)動(dòng)自然發(fā)生在三維空間中，而在三維空間中跟蹤運(yùn)動(dòng)使模型能夠更好地利用其在三維空間中的規(guī)律，例如 ARAP 約束。作者提出了一個(gè)新穎的框架，使用可學(xué)習(xí)的 ARAP 約束，利用三面體表示來(lái)估計(jì)三維軌跡，該約束能夠識(shí)別場(chǎng)景中的剛性群，并在每個(gè)群體內(nèi)強(qiáng)制實(shí)施剛性。實(shí)驗(yàn)表明，與現(xiàn)有基線方法相比，SpatialTracker具有優(yōu)越的性能，并適用于具有挑戰(zhàn)性的真實(shí)世界場(chǎng)景。

SpatialTracker依賴于現(xiàn)成的單目深度估計(jì)器，其準(zhǔn)確性可能會(huì)影響最終的跟蹤性能。然而，作者預(yù)計(jì)單目重建技術(shù)的進(jìn)步將提高運(yùn)動(dòng)估計(jì)的性能。這兩個(gè)問(wèn)題能夠更密切地相互作用，相互受益。