摘要

本文提出了一種新的直接視覺里程計(jì)算法，利用360度相機(jī)實(shí)現(xiàn)魯棒的定位和建圖。本系統(tǒng)使用球面相機(jī)模型來處理無需校正的等距柱狀圖像，擴(kuò)展稀疏直接法視覺里程計(jì)（DSO，direct sparse odometry），從而實(shí)現(xiàn)全方位感知。將建圖和優(yōu)化算法應(yīng)用用于新模型后，可以在局部窗口中對含內(nèi)、外參在內(nèi)的相機(jī)參數(shù)以及三維建圖進(jìn)行聯(lián)合優(yōu)化。此外，我們在真實(shí)世界和大規(guī)模模擬場景中對所提出的算法進(jìn)行了定性和定量的評估。大量實(shí)驗(yàn)表明，我們的系統(tǒng)達(dá)到了SOTA的結(jié)果。

圖1 左上方圖中是僅由兩個超寬視場鏡頭組成的典型全景相機(jī)。右上角是該360相機(jī)成像的例圖。隨著透鏡制造行業(yè)的成熟，超寬視野透鏡變得更便宜，成像質(zhì)量也更高。下方的圖是由本文中360VO系統(tǒng)重建的地圖。

圖2 360VO系統(tǒng)概覽。該系統(tǒng)的輸入是一串等距柱狀的幀序列。初始化后，系統(tǒng)在局部窗口中跟蹤并優(yōu)化相關(guān)模型參數(shù)。

圖3 上圖顯示的是360VO的坐標(biāo)系，它利用了球面模型的優(yōu)點(diǎn)來表示相機(jī)投影。此外，2D圖像是等距柱狀投影。

圖4 極線約束。當(dāng)成功追蹤時需要創(chuàng)建新的激活點(diǎn)，并通過三角化來細(xì)化它們的逆深度。主幀Ci的高對應(yīng)點(diǎn)位于極線曲線上，而非位于目標(biāo)幀Cj中的直線上。

圖5 合成數(shù)據(jù)集中部分序列的代表幀。該合成數(shù)據(jù)集是在真實(shí)的城市模型中渲染得到的，由10個大型視頻序列組成。

圖6 基于序列3的軌跡比較。圖中黑色曲線表示Ground-truth，藍(lán)色曲線表示OpenVSLAM得到的軌跡，紅色曲線表示本文提出的360VO得到的軌跡。結(jié)果顯示360VO的軌跡更接近于真值。

圖7 上圖是合成數(shù)據(jù)集得到的的結(jié)果。每個序列運(yùn)行10次，得到軌跡的均方根誤差（RMSE，Root Mean Square Error）。圖中每個柱形頂部的數(shù)字是均方根誤差的平均值。與OpenVSLAM相比，我們的360VO取得了可觀的結(jié)果。此外，我們將360°的圖像校正并裁剪為90°視場的透視圖像，并將其作為運(yùn)行ORB-SLAM和DSO的輸入。顯然，利用360相機(jī)的方法通常更魯棒、精度更高。

圖8 360VO在室外環(huán)境中測試的定性結(jié)果

圖9 圖中藍(lán)色線表示局部優(yōu)化窗口中激活關(guān)鍵幀間的約束，品紅色曲線表示相機(jī)軌跡。灰色的球體表示當(dāng)前幀的位置，而黑色的點(diǎn)表示3D地圖。由于同一個地標(biāo)可以被長時間地觀測到，本文中算法得到的結(jié)果具有較好的一致性和較低的漂移。

圖10 即使在有著無紋理地板、白色墻壁和動態(tài)物體的狹窄的室內(nèi)環(huán)境中，360相機(jī)也能在空間上捕捉到足夠的特征。這種固有的優(yōu)勢使得360VO能夠成功地跟蹤和建圖，而使用透視圖像的系統(tǒng)則容易產(chǎn)生漂移。注：圖像上的顏色表示點(diǎn)的估計(jì)深度，近（紅色）→遠(yuǎn)（藍(lán)色）

審核編輯 ：李倩