No.1

前沿

SLAM（Simultaneous Localization and Mapping），其中文翻譯為同步定位與地圖構(gòu)建，即可以在未知環(huán)境中通過(guò)傳感器的信息來(lái)定位自身的位姿，并同時(shí)構(gòu)建環(huán)境的三維地圖，因其在AR/VR、自動(dòng)駕駛、機(jī)器人領(lǐng)域的巨大應(yīng)用價(jià)值，得到了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。

SLAM示意圖SLAM技術(shù)主要提供兩方面的能力：即空間定位（Localization）和環(huán)境重建（Mapping）。而這兩方面的能力也是AR/VR的關(guān)鍵基礎(chǔ)技術(shù)。環(huán)境重建（Mapping）能力可以識(shí)別真實(shí)物理世界的幾何結(jié)構(gòu)，提供了AR/VR虛擬場(chǎng)景與真實(shí)物理世界疊加的載體。而空間定位（Localization）能力，或者我們稱(chēng)之為6DoF運(yùn)動(dòng)跟蹤，則能夠保證虛擬場(chǎng)景與真實(shí)世界的融合能夠在不同視角下的一致性。

No.2

XRSLAM特性介紹

XRSLAM[4]是OpenXRLab空間計(jì)算平臺(tái)中基于C++語(yǔ)言實(shí)現(xiàn)的SLAM算法庫(kù)，算法基于單目視覺(jué)和IMU實(shí)現(xiàn)了輕量級(jí)的VIO，同時(shí)支持桌面平臺(tái)和移動(dòng)平臺(tái)，算法在EuRoC[3]等公開(kāi)數(shù)據(jù)集上達(dá)到SOTA級(jí)別的精度，支持普通手機(jī)終端30fps的實(shí)時(shí)處理幀率。

1

模塊化的設(shè)計(jì)

XRSLAM的整個(gè)框架如下圖所示，算法支持多種不同傳感器數(shù)據(jù)作為輸入，經(jīng)過(guò)XRSLAM算法內(nèi)部的融合優(yōu)化算法得到實(shí)時(shí)相機(jī)位姿。在當(dāng)前開(kāi)源的版本中，XRSLAM的核心是一個(gè)輕量級(jí)的VIO算法，其中包括對(duì)IMU數(shù)據(jù)的預(yù)積分，對(duì)圖像數(shù)據(jù)的特征匹配，基于視覺(jué)、IMU的線性對(duì)齊初始化以及完整的劃窗優(yōu)化等。其中特征匹配采用了OpenCV[5]的光流來(lái)實(shí)現(xiàn)。

OpenXRLab-XRSLAM框架算法內(nèi)部根據(jù)核心模塊、狀態(tài)估計(jì)、多視圖幾何、視覺(jué)定位、地圖結(jié)構(gòu)、AR展示、實(shí)用工具等不同類(lèi)別，模塊化了不同的函數(shù)和類(lèi)，方便開(kāi)發(fā)者上手和拓展更多功能。

XRSLAM設(shè)計(jì)了靈活易拓展的多傳感器支持，當(dāng)前發(fā)布的版本以單目相機(jī)和IMU作為傳感器輸入，在此基礎(chǔ)上，我們會(huì)進(jìn)一步拓展到多目相機(jī)、深度相機(jī)以及廣角相機(jī)等更多配置。

2

跨平臺(tái)的開(kāi)發(fā)

算法庫(kù)核心部分只依賴(lài)Eigen[6]、OpenCV[5]、Ceres Solver[7]等常用基礎(chǔ)庫(kù)，而且這些基礎(chǔ)庫(kù)都已經(jīng)包含在我們的XRPrimer基礎(chǔ)庫(kù)中。XRSLAM支持Linux、Mac、Android、iOS等多個(gè)平臺(tái)的編譯運(yùn)行，當(dāng)前發(fā)布的版本中，我們也提供了Linux/Mac和iOS的完整的編譯流程和可以方便運(yùn)行的demo。

3

完善的文檔說(shuō)明

為了讓用戶能快速上手XRSLAM，我們提供了詳盡的文檔和教程供使用者參考，其中包含了：

如何在PC平臺(tái)編譯和運(yùn)行

如何在移動(dòng)平臺(tái)開(kāi)發(fā)AR demo

VIO能夠正常穩(wěn)定的運(yùn)行，依賴(lài)對(duì)多傳感器參數(shù)進(jìn)行提前標(biāo)定，我們提前對(duì)近幾年的iOS設(shè)備進(jìn)行了參數(shù)標(biāo)定，使得開(kāi)發(fā)者隨手可以快速運(yùn)行起來(lái)我們的AR demo。

最后，考慮到配置系統(tǒng)環(huán)境容易出現(xiàn)各種問(wèn)題，XRSLAM還提供了完整的docker鏡像，幫助開(kāi)發(fā)者快速地基于統(tǒng)一的系統(tǒng)環(huán)境上手開(kāi)發(fā)SLAM。

在我們的XRSLAM的官方github頁(yè)面，我們將及時(shí)回答大家在使用XRSLAM的問(wèn)題并盡力處理各類(lèi)issue，歡迎大家踴躍參與討論！

No.3

XRSLAM性能指標(biāo)

XRSLAM在EuRoC上進(jìn)行了精度評(píng)測(cè)，并與目前SOTA算法VINS-Mono進(jìn)行了對(duì)比（其中VINS-Mono的結(jié)果是基于開(kāi)源代碼本地復(fù)現(xiàn)的結(jié)果）。從結(jié)果看，XRSLAM的精度具備顯著的領(lǐng)先性。另外，XRSLAM也可以在移動(dòng)端實(shí)時(shí)運(yùn)行，算法處理效率可以支持30Fps以上的數(shù)據(jù)處理幀率。

效果指標(biāo)對(duì)比結(jié)果（注意這里的精度指標(biāo)都不包含回路閉合的功能）

EuRoC V101算法運(yùn)行可視化效果

移動(dòng)端AR效果(視頻2倍速播放)

No.4

總結(jié)

SLAM是一個(gè)既古老又充滿活力的研究領(lǐng)域，在這個(gè)方向仍有很多值得研究的熱點(diǎn)問(wèn)題。XRSLAM提供一個(gè)開(kāi)放的平臺(tái)，以簡(jiǎn)潔高效、跨平臺(tái)、易拓展的形式，歡迎大家在此平臺(tái)上進(jìn)行二次開(kāi)發(fā)，共同探索SLAM方向的新的研究課題和技術(shù)突破。

審核編輯 ：李倩