論文提出了PVO，這是一種新的全景視覺里程計框架，用于實現(xiàn)場景運動、幾何和全景分割信息的更全面建模。提出的PVO在統(tǒng)一的視圖中對視覺里程計（VO）和視頻全景分割（VPS）進(jìn)行建模，這使得這兩項任務(wù)互惠互利。具體來說，在圖像全景分割的指導(dǎo)下，在VO模塊中引入了全景更新模塊。

該全景增強(qiáng)VO模塊可以通過全景感知動態(tài)mask來減輕動態(tài)目標(biāo)在相機(jī)姿態(tài)估計中的影響。另一方面，VO增強(qiáng)型VPS模塊還利用從VO模塊獲得的相機(jī)姿態(tài)、深度和光流等幾何信息，將當(dāng)前幀的全景分割結(jié)果融合到相鄰幀，從而提高了分割精度，這兩個模塊通過反復(fù)迭代優(yōu)化相互促進(jìn)。大量實驗表明，PVO在視覺里程計和視頻全景分割任務(wù)中都優(yōu)于最先進(jìn)的方法。

領(lǐng)域背景

了解場景的運動、幾何和全景分割在計算機(jī)視覺和機(jī)器人技術(shù)中發(fā)揮著至關(guān)重要的作用，其應(yīng)用范圍從自動駕駛到增強(qiáng)現(xiàn)實，本文朝著解決這個問題邁出了一步，以實現(xiàn)單目視頻場景的更全面建模！已經(jīng)提出了兩項任務(wù)來解決這個問題，即視覺里程計（VO）和視頻全景分割（VPS）。特別地，VO[9，11，38]將單目視頻作為輸入，并在靜態(tài)場景假設(shè)下估計相機(jī)姿態(tài)。為了處理場景中的動態(tài)對象，一些動態(tài)SLAM系統(tǒng)使用實例分割網(wǎng)絡(luò)進(jìn)行分割，并明確過濾出某些類別的目標(biāo)，這些目標(biāo)可能是動態(tài)的，例如行人或車輛。

然而，這種方法忽略了這樣一個事實，即潛在的動態(tài)目標(biāo)實際上可能在場景中是靜止的，例如停放的車輛。相比之下，VPS專注于在給定一些初始全景分割結(jié)果的情況下，跨視頻幀跟蹤場景中的單個實例。當(dāng)前的VPS方法沒有明確區(qū)分目標(biāo)實例是否在移動，盡管現(xiàn)有的方法廣泛地獨立地解決了這兩個任務(wù)，但值得注意的是，場景中的動態(tài)目標(biāo)會使這兩項任務(wù)都具有挑戰(zhàn)性。認(rèn)識到兩個任務(wù)之間的這種相關(guān)性，一些方法試圖同時處理這兩個任務(wù)，并以多任務(wù)的方式訓(xùn)練運動語義網(wǎng)絡(luò)，如圖2所示。然而，這些方法中使用的損失函數(shù)可能相互矛盾，從而導(dǎo)致性能下降。

本文提出了一種新的全景視覺里程計（PVO）框架，該框架使用統(tǒng)一的視圖將這兩項任務(wù)緊密耦合，以對場景進(jìn)行全面建模。VPS可以利用全景分割信息調(diào)整VO的權(quán)重（每個實例的像素的權(quán)重應(yīng)該相互關(guān)聯(lián)），VO可以將視頻全景分割的跟蹤和融合從2D轉(zhuǎn)換為3D。受開創(chuàng)性的期望最大化算法的啟發(fā)，遞歸迭代優(yōu)化策略可以使這兩項任務(wù)互惠互利。

PVO由三個模塊組成，一個圖像全景分割模塊、一個全景增強(qiáng)型VO模塊和一個VO增強(qiáng)型VPS模塊。全景分割模塊獲取單個圖像并輸出圖像全景分割結(jié)果，然后被饋送到全景增強(qiáng)VO模塊中作為初始化。注意，盡管本文選擇PanopticFPN，但任何分割模型都可以用于全景分割模塊。在全景增強(qiáng)VO模塊，提出了一個全景更新模塊來過濾動態(tài)目標(biāo)的干擾，從而提高了動態(tài)場景中姿態(tài)估計的準(zhǔn)確性。在VO增強(qiáng)的VPS模塊中，引入了一種在線融合機(jī)制，根據(jù)估計的姿態(tài)、深度和光流，將當(dāng)前幀的多分辨率特征與相鄰幀對齊，這種在線融合機(jī)制可以有效地解決多目標(biāo)遮擋的問題。實驗表明，遞歸迭代優(yōu)化策略提高了VO和VPS的性能。本文的主要貢獻(xiàn)概括為四個方面：

1.本文提出了一種新的全景視覺里程計（PVO）框架，該框架可以將VO和VPS任務(wù)統(tǒng)一起來，對場景進(jìn)行全面建模；

2.引入全景更新模塊，并將其納入全景增強(qiáng)VO模塊，以改進(jìn)姿態(tài)估計；

3.在VOEnhanced VPS模塊中提出了一種在線融合機(jī)制，有助于改進(jìn)視頻全景分割；

4.大量實驗表明，提出的具有遞歸迭代優(yōu)化的PVO在視覺里程計和視頻全景分割任務(wù)中都優(yōu)于最先進(jìn)的方法；

1）視頻全景分割

視頻全景分割旨在生成一致的全景分割，并跟蹤視頻幀中所有像素的實例。作為一項先驅(qū)工作，VPSNet定義了這項新任務(wù)，并提出了一種基于實例級跟蹤的方法。SiamTrack通過提出pixel-tube匹配損失和對比度損失來擴(kuò)展VPSNet，以提高實例嵌入的判別能力。VIPDeplab通過引入額外的深度信息，提供了一個深度感知VPS網(wǎng)絡(luò)。而STEP提出對視頻全景分割的每個像素進(jìn)行分割和跟蹤，HybridTracker提出從兩個角度跟蹤實例：特征空間和空間位置。與現(xiàn)有方法不同，本文引入了一種VO增強(qiáng)的VPS模塊，該模塊利用VO估計的相機(jī)姿態(tài)、深度和光流來跟蹤和融合從當(dāng)前幀到相鄰幀的信息，并可以處理遮擋。

2）SLAM和視覺里程計

SLAM同時進(jìn)行定位和地圖構(gòu)建，視覺里程計作為SLAM的前端，專注于姿態(tài)估計?，F(xiàn)代SLAM系統(tǒng)大致分為兩類，基于幾何的方法和基于學(xué)習(xí)的方法。由于基于監(jiān)督學(xué)習(xí)的方法具有良好的性能，基于無監(jiān)督學(xué)習(xí)的VO方法受到了廣泛的關(guān)注，但它們的性能不如有監(jiān)督的方法。一些無監(jiān)督方法利用多任務(wù)學(xué)習(xí)和深度和光流等輔助任務(wù)來提高性能。

最近，TartanVO提出建立一個可推廣基于學(xué)習(xí)的VO，并在具有挑戰(zhàn)性的SLAM數(shù)據(jù)集TartanAir上測試該系統(tǒng)。DROID-SLAM提出使用bundle adjustment層迭代更新相機(jī)姿態(tài)和像素深度，并展示了卓越的性能。DeFlowSLAM進(jìn)一步提出了dual-flow表示和自監(jiān)督方法，以提高SLAM系統(tǒng)在動態(tài)場景中的性能。為了應(yīng)對動態(tài)場景的挑戰(zhàn)，動態(tài)SLAM系統(tǒng)通常利用語義信息作為約束但它們主要作用于stereo、RGBD或LiDAR序列。相反，本文引入了全景更新模塊，并在DROID-SLAM上構(gòu)建了全景增強(qiáng)型VO，可以用于單目視頻。這樣的組合可以更好地理解場景幾何和語義，從而對場景中的動態(tài)對象更加魯棒。與其它多任務(wù)端到端模型不同，本文的PVO具有循環(huán)迭代優(yōu)化策略，可以防止任務(wù)相互干擾。

本文提出的方法

給定一個單目視頻，PVO的目標(biāo)是同時定位和全景3D映射。圖3描述了PVO模型的框架，它由三個主要模塊組成：圖像全景分割模塊、全景增強(qiáng)VO模塊和VO增強(qiáng)VPS模塊。VO模塊旨在估計攝像機(jī)的姿態(tài)、深度和光流，而VPS模塊輸出相應(yīng)的視頻全景分割，最后兩個模塊以反復(fù)互動的方式相互促進(jìn)！

1）圖像全景分割

圖像全景分割以單個圖像為輸入，輸出圖像的全景分割結(jié)果，將語義分割和實例分割相結(jié)合，對圖像的實例進(jìn)行綜合建模。輸出結(jié)果用于初始化視頻全景分割，然后輸入全景增強(qiáng)VO模塊。在本文的實驗中，如果沒有特別指出，使用廣泛使用的圖像全景分割網(wǎng)絡(luò)PanopticFPN。PanopticFPN建立在具有權(quán)重θ_e的ResNetf_{θ_e}的主干上，并提取圖像的多尺度特征I_t：

它使用具有權(quán)重θ_d的解碼器g_{θ_d}輸出全景分割結(jié)果，該解碼器由語義分割和實例分割組成，每個像素p的全景分割結(jié)果為：

被饋送到解碼器中的多尺度特征隨著時間的推移而更新。一開始，編碼器生成的多尺度特征被直接輸入解碼器（圖3藍(lán)色部分）。在隨后的時間步長中，這些多尺度特征在被饋送到解碼器之前用在線特征融合模塊進(jìn)行更新。

2）全景增強(qiáng) VO 模塊

在視覺里程計中，動態(tài)場景無處不在，過濾掉動態(tài)目標(biāo)的干擾至關(guān)重要。DROID-SLAM的前端以單目視頻{{I_t}}^N_{t=0}為輸入，并優(yōu)化相機(jī)姿態(tài){G_t}^N_{t=0}∈SE(3)和反深度d_t∈R^{H×W}+，通過迭代優(yōu)化光流delta r{ij}∈R^{HW2}。它不考慮大多數(shù)背景是靜態(tài)的，前景目標(biāo)可能是動態(tài)的，并且每個目標(biāo)的像素權(quán)重應(yīng)該是相關(guān)的。全景增強(qiáng)VO模塊（見圖4）是通過結(jié)合全景分割的信息，幫助獲得更好的置信度估計（見圖7），因此，全景增強(qiáng)VO可以獲得更精確的相機(jī)姿勢。接下來，將簡要回顧DROID-SLAM的類似部分（特征提取和相關(guān)性），并重點介紹全景更新模塊的復(fù)雜設(shè)計。

特征提取：與DROID-SLAM類似，全景增強(qiáng)VO模塊借用了RAFT的關(guān)鍵組件來提取特征。本文使用兩個獨立的網(wǎng)絡(luò)（一個特征編碼器和一個上下文編碼器） 提取每個圖像的多尺度特征，其中利用特征編碼器的特征構(gòu)建成對圖像的4D相關(guān)volumes，并將上下文編碼器的特征注入全景更新模塊。特征編碼器的結(jié)構(gòu)類似于全景分割網(wǎng)絡(luò)的主干，并且它們可以使用共享編碼器。

相關(guān)金字塔和查找表：與DROIDSLAM類似，本文采用幀圖（V，E）來指示幀之間的共同可見性。例如，邊（i，j）∈E表示保持重疊區(qū)域的兩個圖像I_i和I_j，并且可以通過這兩個圖像的特征向量之間的點積來構(gòu)建4D相關(guān)volumes：

遵循平均池化層以獲得金字塔相關(guān)性，本文使用DROID-SLAM中定義的相同查找運算符來使用雙線性插值對金字塔相關(guān)volumes值進(jìn)行索引，這些相關(guān)特征被串聯(lián)，從而產(chǎn)生最終的特征向量。Panoptic增強(qiáng)型VO模塊繼承了DROID-SLAM的前端VO模塊，利用全景分割信息來調(diào)整VO的權(quán)重。將通過將初始光流饋送到流編碼器而獲得的flow信息和從兩幀建立的4D相關(guān)volumes以及上下文編碼器獲取的特征作為中間變量饋送到GRU，然后三個卷積層輸出動態(tài)掩碼M_{d_{ij}}，相關(guān)置信度map w_{ij}和稠密光流delta r_{ij}。給定初始化的全景分割，可以將動態(tài)掩碼調(diào)整為全景感知動態(tài)掩碼，為了便于理解，保持符號不變。置信度和全景感知動態(tài)掩碼通過全景感知濾波器模塊以獲得全景感知置信度：

深度和動態(tài)的殘差掩碼被添加到當(dāng)前深度和動態(tài)掩碼，分別為：

Correspondence：首先在每次迭代中使用當(dāng)前的姿態(tài)和深度估計來搜索對應(yīng)關(guān)系。參考DROID-SLAM，對于幀i中的每個像素坐標(biāo)pi，幀圖中每個邊（i，j）∈E的稠密對應(yīng)域pij可以計算如下：

DBA層：使用DROID-SLAM中定義的密集束調(diào)整層（DBA）來map stream revisions，以更新當(dāng)前估計的逐像素深度和姿態(tài)，成本函數(shù)可以定義如下：

3）VO增強(qiáng)型VPS模塊

視頻全景分割旨在獲得每幀的全景分割結(jié)果，并保持幀間分割的一致性。為了提高分割精度和跟蹤精度，F(xiàn)useTrack等一些方法試圖利用光流信息對特征進(jìn)行融合，并根據(jù)特征的相似性進(jìn)行跟蹤。這些方法僅來自可能遇到遮擋或劇烈運動的2D視角。我們生活在一個3D世界中，可以使用額外的深度信息來更好地建模場景。本文的VO增強(qiáng)型VPS模塊正是基于這一理解，能夠更好地解決上述問題。

圖5顯示了VO增強(qiáng)型VPS模塊，該模塊通過使用從視覺里程計獲得的深度、姿態(tài)和光流信息，將前一幀t?1的特征wrap到當(dāng)前幀t，從而獲得wrap的特征。在線融合模塊將融合當(dāng)前幀t的特征和wrap的特征，以獲得融合的特征。為了保持視頻分割的一致性，首先將wrap的特征t?1（包含幾何運動信息）和融合的特征圖t輸入解碼器，分別獲得全景分割t?1和t，然后使用簡單的IoU匹配模塊來獲得一致的全景分割，該結(jié)果將被輸入Panoptic增強(qiáng)型VO模塊。

4）遞歸迭代優(yōu)化

受EM算法的啟發(fā)，可以以遞歸迭代的方式優(yōu)化所提出的全景增強(qiáng)VO模塊和VO增強(qiáng)VPS模塊，直到收斂。在實驗上，循環(huán)通常只需要兩次迭代就可以收斂，表5和表6表明，反復(fù)迭代優(yōu)化可以提高VPS和VO模塊的性能。

5）實施細(xì)則

PVO由PyTorch實現(xiàn)，由三個主要模塊組成：圖像全景分割、全景增強(qiáng)VO模塊和VO增強(qiáng)VPS模塊。本文使用三個階段來訓(xùn)練網(wǎng)絡(luò)，在KITTI數(shù)據(jù)集上訓(xùn)練圖像全景分割作為初始化。在PanopticFCN之后，訓(xùn)練過程中采用了多尺度縮放策略。在兩個GeForce RTX 3090 GPU上以1e-4的初始速率優(yōu)化網(wǎng)絡(luò)，其中每個小批量有八個圖像，SGD優(yōu)化器的使用具有1e-4的重量衰減和0.9的動量。

全景增強(qiáng)VO模塊的訓(xùn)練遵循DROIDSLAM，只是它額外提供了地面實況全景分割結(jié)果。在訓(xùn)練VO增強(qiáng)視頻全景分割模塊時，使用GT深度、光流和姿態(tài)信息作為幾何先驗來對齊特征，并固定訓(xùn)練的單圖像全景分割的主干，然后僅訓(xùn)練融合模塊。該網(wǎng)絡(luò)在一個GeForce RTX 3090 GPU上以1e-5的初始學(xué)習(xí)率進(jìn)行了優(yōu)化，其中每個批次有八個圖像。當(dāng)融合網(wǎng)絡(luò)基本收斂時，添加了一個分割一致性損失函數(shù)來進(jìn)一步完善VPS模塊！

實驗結(jié)果

1）視覺里程計

本文在三個具有動態(tài)場景的數(shù)據(jù)集上進(jìn)行實驗：Virtual KITTI、KITTI和TUM RGBD動態(tài)序列，使用絕對軌跡誤差（ATE）進(jìn)行評估。對于視頻全景分割，在cityscape和VIPER數(shù)據(jù)集上使用視頻全景質(zhì)量（VPQ）度量。本文進(jìn)一步對Virtual KITTI進(jìn)行消融研究，以分析本文的框架設(shè)計。最后，展示了PVO在視頻編輯方面的適用性，如補(bǔ)充材料中的第B節(jié)所示。

VKITTI2

虛擬KITTI數(shù)據(jù)集[3]由從KITTI跟蹤基準(zhǔn)克隆的5個序列組成，為每個序列提供RGB、深度、類分割、實例分割、相機(jī)姿態(tài)、flow和場景flow數(shù)據(jù)。如表6和圖6所示，在大多數(shù)序列中，本文的PVO以很大的優(yōu)勢優(yōu)于DROID SLAM，并在序列02中實現(xiàn)了有競爭力的性能。

KITTI

KITTI是一個捕捉真實世界交通場景的數(shù)據(jù)集，從農(nóng)村地區(qū)的高速公路到擁有大量靜態(tài)和動態(tài)對象的城市街道。本文將在VKITTI2[3]數(shù)據(jù)集上訓(xùn)練的PVO模型應(yīng)用于KITTI序列。如圖6所示，PVO的姿態(tài)估計誤差僅為DROID-SLAM的一半，這證明了PVO具有良好的泛化能力。表1顯示了KITTI和VKITTI數(shù)據(jù)集上的完整SLAM比較結(jié)果，其中PVO在大多數(shù)情況下都大大優(yōu)于DROID-SLAM和DynaSLAM，DynaSLAM在VKITTI2 02、06和18序列中屬于災(zāi)難性系統(tǒng)故障。

TUM-RGBD

TUM RGBD是一個用手持相機(jī)捕捉室內(nèi)場景的數(shù)據(jù)集，本文選擇TUM RGBD數(shù)據(jù)集的動態(tài)序列來顯示本文的方法的有效性。將PVO與DROIDSLAM以及三種最先進(jìn)的動態(tài)RGB-D SLAM系統(tǒng)進(jìn)行了比較，即DVO-SLAM、ORB-SLAM2和PointCorr。請注意，PVO和DROID-SLAM僅使用單目RGB視頻。表2表明PVO在所有場景中都優(yōu)于DROID-SLAM，與傳統(tǒng)的RGB-D SLAM系統(tǒng)相比，本文的方法在大多數(shù)場景中也表現(xiàn)得更好。

2）視頻全景分割

將PVO與三種基于實例的視頻全景分割方法進(jìn)行了比較，即VPSNetTrack、VPSNetFuseTrack和SiamTrack。在圖像全景分割模型UPSNet的基礎(chǔ)上，VPSNetTrack還添加了MaskTrack head，以形成視頻全景分割模型?；赩PSNet Track的VPSNet FuseTrack額外注入了時間特征聚合和融合，而SiamTrack利用pixel-tubel 匹配損失和對比度損耗對VPSNet Track進(jìn)行微調(diào)，性能略有提高，比較VPSNet FuseTrack主要是因為SiamTrack的代碼不可用。

Cityscape：本文在VPS中采用了Cityscape的公共訓(xùn)練/val/test分割，其中每個視頻包含30個連續(xù)幀，每五幀有相應(yīng)的GT注釋。表3表明，使用PanopticFCN的方法在val數(shù)據(jù)集上優(yōu)于最先進(jìn)的方法，實現(xiàn)了比VPSNet Track高+1.6%VPQ。與VPSNetFuseTrack相比，本文的方法略有改進(jìn)，可以保持一致的視頻分割，如補(bǔ)充材料中的圖A4所示。原因是由于內(nèi)存有限，論文的VO模塊只能獲得1/8分辨率的光流和深度。

VIPER：VIPER維護(hù)了大量高質(zhì)量的全景視頻注釋，這是另一個視頻全景分割基準(zhǔn)。遵循VPS[19]，并采用其公共train/val拆分。使用從日常場景中選擇的10個視頻，每個視頻的前60幀用于評估。表4表明，與VPSNet FuseTrack相比，PanopticFCN方法在VIPER數(shù)據(jù)集上獲得了更高的分?jǐn)?shù)（+3.1VPQ）。

3）消融實驗

VPS增強(qiáng)型VO模塊：在全景增強(qiáng)型VO模塊中，使用DROID-SLAM作為基線，（VPS->VO）意味著增加了全景信息先驗以增強(qiáng)VO基線，（VPS->VO x2）意味著可以迭代優(yōu)化VO模塊兩次。（VPS->VO x3）意味著對VO模塊進(jìn)行3次反復(fù)迭代優(yōu)化，表6和圖7顯示，在大多數(shù)高度動態(tài)的VKITTI2數(shù)據(jù)集上，全景信息可以幫助提高DROID-SLAM的準(zhǔn)確性，遞歸迭代優(yōu)化可以進(jìn)一步改善結(jié)果。

VO增強(qiáng)型VPS模塊：為了評估VO是否有助于VPS，首先使用PanopticFPN來獲得每個幀的全景分割結(jié)果，然后使用來自RAFT的光流信息進(jìn)行幀間跟蹤，這被設(shè)置為VPS基線。（VPS基線+w/fusion）意味著額外地將特征與流量估計相融合。（VO->VPS+w/o融合）意味著在基線之上使用額外的深度、姿勢和其他信息，（VO->VPS）意味著我們額外融合了該功能。

VO增強(qiáng)型VPS模塊中的在線融合：為了驗證所提出的特征對齊損失（fea損失）和分割一致性損失（seg損失）的有效性，方法如下：（VO->VPS+w/fusion+w/o fealoss）意味著在沒有特征對齊損失的情況下訓(xùn)練在線融合模塊，（VO->VPS+w/fusion+w/o-seg loss）意味著在沒有Segmentation Consistent loss的情況下訓(xùn)練在線融合模塊，表5展示了這兩種損失函數(shù)的有效性！

一些結(jié)論

論文提出了一種新的全景視覺里程計方法，該方法在統(tǒng)一的視圖中對VO和VPS進(jìn)行建模，使這兩項任務(wù)能夠相互促進(jìn)。全景更新模塊可以幫助改進(jìn)姿態(tài)估計，而在線融合模塊有助于改進(jìn)全景分割。大量實驗表明，本文的PVO在這兩項任務(wù)中都優(yōu)于最先進(jìn)的方法。局限性主要是PVO建立在DROID-SLAM和全景分割的基礎(chǔ)上，這使得網(wǎng)絡(luò)很重，需要大量內(nèi)存。盡管PVO可以在動態(tài)場景中穩(wěn)健地執(zhí)行，但它忽略了當(dāng)攝像機(jī)返回到之前的位置時環(huán)路閉合的問題，探索一種低成本、高效的閉環(huán)SLAM系統(tǒng)是未來的工作。

審核編輯：劉清