0. 引言

近年來，多傳感器融合算法發(fā)展迅猛，不同傳感器可以相互補充，通過融合提高系統(tǒng)的感知能力。但受限于標(biāo)定成本和時間同步問題，多傳感器數(shù)據(jù)集卻不多。在2022 IROS論文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者提出了一個包含RGB相機、事件相機、IMU、激光雷達(dá)以及RTK-GPS的多傳感器融合數(shù)據(jù)集。此外，文章中包含了大量的傳感器標(biāo)定方法和建立數(shù)據(jù)集所需要考慮的方方面面，進(jìn)行傳感器和數(shù)據(jù)集標(biāo)定工作的小伙伴一定不要錯過。

2. 摘要

結(jié)合多個傳感器使機器人能夠最大限度地感知環(huán)境，并增強其對外部干擾的魯棒性，對機器人導(dǎo)航至關(guān)重要。本文提出了FusionPortable基準(zhǔn)，這是一個完整的多傳感器數(shù)據(jù)集，具有一組不同的移動機器人序列。本文有三個貢獻(xiàn)。我們首先推出一款便攜式多功能多傳感器套件，提供豐富的傳感器測量：10Hz激光雷達(dá)點云、20Hz RGB幀圖像、來自事件相機的高速率和異步事件、來自IMU的200Hz慣性讀數(shù)和10Hz GPS信號。傳感器在硬件中已經(jīng)暫時同步。這個設(shè)備是輕量級的、獨立的，并且支持移動機器人的即插即用。其次，我們通過利用多個機器人平臺進(jìn)行數(shù)據(jù)收集，通過收集覆蓋校園內(nèi)各種環(huán)境的17個序列來構(gòu)建數(shù)據(jù)集。一些序列對現(xiàn)有的SLAM算法提出了挑戰(zhàn)。第三，我們?yōu)榻怦疃ㄎ缓徒▓D性能評估提供了基礎(chǔ)事實。我們還評估了最先進(jìn)的SLAM方法，并確定了它們的局限性。由原始傳感器測量值、地面實況、校準(zhǔn)數(shù)據(jù)和評估算法組成的數(shù)據(jù)集將被發(fā)布。

3. 算法分析

如圖1所示是作者使用的多傳感器設(shè)備，包括帶有萬向節(jié)穩(wěn)定器的手持手柄，四足機器人，以及阿波羅自主車輛，可以發(fā)現(xiàn)所應(yīng)用的平臺包含了各個場景和應(yīng)用。表1所示是該數(shù)據(jù)集與其他數(shù)據(jù)集在采集平臺、室內(nèi)外環(huán)境、傳感器設(shè)備以及軌跡/地圖采集方式的對比?？梢钥闯?，該多傳感器數(shù)據(jù)集有三個明顯優(yōu)點：(1) 大量高精傳感器的融合；(2) 包括腿式機器人在內(nèi)的三個不同平臺上的數(shù)據(jù)收集；(3) 用于算法評估的地面實況軌跡和3D地圖。

(a) 傳感器裝備的CAD模型 (b) 萬向穩(wěn)定器 (c) 四足機器人 (d) 阿波羅自動小車

圖1 多傳感器設(shè)備和數(shù)據(jù)收集平臺

作者將其稱為FusionPortable基準(zhǔn)，他們工作的主要貢獻(xiàn)如下：

(1) 制造了便攜式和多功能的多傳感器設(shè)備：左右兩側(cè)安裝兩個RGB相機，內(nèi)部安裝一個高頻高精度IMU，頂部位置安裝一個RTK-GPS，并將新型事件相機和高分辨率3D激光雷達(dá)集成。為減小動態(tài)偏差，所有傳感器都安裝在相同的剛性鋁合金部件上。完整的設(shè)備有自己的時鐘同步單元、處理器和電池，并且尺寸、重量和可擴展性較好。

(2) 作者將傳感器安裝在各種平臺上，并在HKUST科技大學(xué)校園內(nèi)的各種結(jié)構(gòu)化或半結(jié)構(gòu)化環(huán)境進(jìn)行測試，包括實驗室、花園、食堂、走廊、自動扶梯和室外道路。此外，收集的序列呈現(xiàn)了由外部光線、移動物體和場景紋理引起的幾種環(huán)境變化。這些問題對SLAM算法都是挑戰(zhàn)。

(3) 作者還提供了大多數(shù)室內(nèi)場景的真實地圖，并對幾個最先進(jìn)的SOTA SLAM系統(tǒng)進(jìn)行基準(zhǔn)測試，包括兩個基于視覺的方法和四個基于激光雷達(dá)的方法。

表1 FusionPortable與之前數(shù)據(jù)集在數(shù)據(jù)采集平臺、環(huán)境、傳感器類型和地面實況方法方面的比較

3.1 傳感器配置

如表2所示是作者所使用傳感器的特性，具體來說作者使用Intel NUC來運行傳感器驅(qū)動程序，附加傳感器消息的時間戳，并將消息記錄到Ubuntu系統(tǒng)上的ROS包中。該電腦使用i7處理器、1TB固態(tài)硬盤和64GB DDR4內(nèi)存。下面分別介紹具體傳感器的特性：

(1) 3D激光雷達(dá)：使用OS1-128激光雷達(dá)，內(nèi)部同步IMU輸出100Hz線性加速度和角速度，它還輸出深度圖像、信號圖像和周圍的環(huán)境圖像。

(2) RGB相機：兩個FILR BFS-U3-31S4C全局快門彩色相機安裝在系統(tǒng)的兩側(cè)，直接面向前方。它們由外部觸發(fā)器同步，并以20 fps的速度捕捉高分辨率圖像。曝光時間被設(shè)置為固定值，以最小化相對延遲，圖像的時間戳的平均差異低于1毫秒。

表2 各個傳感器及其特點

(3) 事件相機：兩個事件相機具有高時間分辨率、高動態(tài)范圍、低功耗等優(yōu)點。相機具有346x260分辨率和內(nèi)部高速IMU輸出。事件相機使用從左相機(主相機)產(chǎn)生的觸發(fā)信號進(jìn)行同步，以便通過外部導(dǎo)線向右(從相機)發(fā)送同步脈沖。為了抑制激光雷達(dá)的激光，兩個相機都配備了額外的紅外濾光片。對于室內(nèi)序列，手動設(shè)置和固定APS曝光。對于室外序列，使用自動曝光來避免曝光過度或曝光不足。

(4) 慣性測量單元(IMU)：一個戰(zhàn)術(shù)級的STIM300慣性測量單元被嚴(yán)格安裝在激光雷達(dá)下方，作為系統(tǒng)的主要慣性傳感器。它具有高更新速率(200Hz)和低噪聲和漂移測量，其偏置不穩(wěn)定性在0.3°/h左右。

(5) 全球定位系統(tǒng)(GPS)：在激光雷達(dá)頂部額外安裝了ZED-F9P RTK-GPS設(shè)備。在室外場景中，GPS被激活并提供精確的緯度、經(jīng)度和高度讀數(shù)。但是由于建筑物的遮擋，它有時會變得不穩(wěn)定。

3.2 傳感器校準(zhǔn)

作者預(yù)先仔細(xì)校準(zhǔn)單個傳感器的固有特性、外部特性以及傳感器之間的總時間延遲，并將STIM300 IMU的坐標(biāo)系定義為體坐標(biāo)系。

(1) 時鐘同步：作者使用FPGA產(chǎn)生外部信號觸發(fā)來同步所有傳感器的時鐘，這可以保證以最小的延遲跨多個傳感器收集數(shù)據(jù)。FPGA從GPS接收每秒脈沖(PPS)信號，并分別向IMU、相機和激光雷達(dá)發(fā)送200、20、10Hz信號。FPGA使用其內(nèi)部時鐘，以啟用GPS缺失場景中的時間同步。

(2) 相機校準(zhǔn)：RGB相機和事件相機使用Matlab校準(zhǔn)工具箱進(jìn)行估計，其中使用了針孔攝像機和徑向-切向失真模型。作者將傳感器套件移動到棋盤前，以收集一系列圖像。同時均勻地采樣圖像作為校準(zhǔn)數(shù)據(jù)，并手動移除具有高重投影誤差的異常值。

(3) 相機-IMU外部校準(zhǔn)：IMU的內(nèi)部使用Allen推導(dǎo)工具箱進(jìn)行校準(zhǔn)，該工具箱可估算相機和加速度計測量的噪聲密度和隨機游走。之后，通過Kalibr獲得相機相對于IMU的空間和時間參數(shù)。整體系統(tǒng)包括4個IMU：激光雷達(dá)中的STIM300、ICM20948和DAVIS346事件相機中的兩個MPU6050。因此，作者校準(zhǔn)這些IMU的固有特性，并估計這些傳感器對的固有特性:STIM300、RGB相機、STIM300、事件相機、左MPU6050、左DAVIS346和右MPU6050、右DAVIS346。

(4) 相機-激光雷達(dá)外部校準(zhǔn)：作者使用棋盤進(jìn)行相機-激光雷達(dá)外部校準(zhǔn)，從點云和圖像中提取棋盤的外角，通過最小化所有對應(yīng)角點的距離進(jìn)行優(yōu)化。

3.3 數(shù)據(jù)集描述

作者在進(jìn)行數(shù)據(jù)采集時主要考慮以下幾個方面，并對不同場景建立不同的序列。表3總結(jié)了每個序列的關(guān)鍵特征，圖2顯示了其中的幾個場景圖片，圖3顯示了樣本傳感器數(shù)據(jù)。

(1) 位置：環(huán)境位置分為室內(nèi)和室外，GPS信號在室外環(huán)境中有時不穩(wěn)定。

(2) 結(jié)構(gòu)：結(jié)構(gòu)化環(huán)境主要可以用幾何圖元來解釋(如辦公室或建筑物)，而半結(jié)構(gòu)化環(huán)境既有幾何元素又有復(fù)雜元素，如樹木和雜物。狹窄走廊等場景是結(jié)構(gòu)化的。

(3) 照明條件：相機對外部照明條件很敏感，弱光和強光都可能對視覺處理算法提出挑戰(zhàn)。

(4) 外觀：紋理豐富的場景有助于視覺算法提取穩(wěn)定的特征(例如點和線)，而無紋理的場景可能會對性能產(chǎn)生負(fù)面影響。

(5) 運動模式：可以執(zhí)行慢速、正常和快速運動。關(guān)于安裝的平臺，手持設(shè)備執(zhí)行任意的6-DoF和跳躍運動，四足機器人主要執(zhí)行平面但不平穩(wěn)的運動，而車輛可以以恒定的速度進(jìn)行平面運動。

(6) 對象運動：在動態(tài)環(huán)境中，當(dāng)數(shù)據(jù)被捕獲時，幾個元素在運動。數(shù)據(jù)采集的時間越長，元素的變形就越大(例如行人或汽車)。相比之下，在靜態(tài)環(huán)境中移動對象很少。

表3 每個序列的一些統(tǒng)計和特征

圖2 多個序列位置的場景圖像

?

圖3 傳感器測量樣本

(a)-(d):由RGB相機捕獲的圖像 (e)-(f):由積極事件(紅色)和消極事件(藍(lán)色)增強的圖像 (h)-(i):激光雷達(dá)的3D點云，網(wǎng)格大小為10m

3.4 真值

數(shù)據(jù)集中大多數(shù)序列為算法評估提供真值。在幾個室內(nèi)場景中，也提供了周圍環(huán)境的真實地圖。軌跡真值生成詳細(xì)說明如下：

(1) 真值地圖：在中小型環(huán)境中，作者使用 Leica BLK360激光掃描儀從多個位置記錄該結(jié)構(gòu)的高分辨率彩色3D稠密地圖，精確度為毫米。圖4顯示了三個例子。

(2) 真值姿態(tài)：在動作捕捉室，作者使用OptiTrack系統(tǒng)以120Hz的頻率測量反射球中心的姿態(tài)，精度為毫米。OptiTrack直接與同一臺電腦連接，以記錄姿勢，最大限度地減少時間延遲。從球的中心到傳感器裝置的主體框架的外力通過手眼校準(zhǔn)方法解決。在地面實況地圖覆蓋的中等規(guī)模環(huán)境中，采用基于NDT的6-DoF定位來估計激光雷達(dá)在先前地圖中的姿態(tài)，作為軌跡真值。在室外環(huán)境中，將RTK GPS信號與激光雷達(dá)慣性測量融合，以獲得基于LIO-SAM的精確軌跡。

?

圖4 運動捕捉房間、走廊和建筑場景顏色的真實點云

3.5 數(shù)據(jù)格式和后處理

整體數(shù)據(jù)在ROS環(huán)境中收集的，作者提供ROS包和單獨的數(shù)據(jù)文件：

(1) env.bag是從數(shù)據(jù)收集過程中獲得的原始rosbag，可以使用ROS工具對其進(jìn)行解析。

(2) env ref.bag是改進(jìn)的rosbag，其中傳感器數(shù)據(jù)進(jìn)行了后處理。

(3) data/存儲來自env.bag的單個傳感器數(shù)據(jù)。每個數(shù)據(jù)都有其時間戳，可以從timetamps.txt中檢索到。

(4) data/遵循KITTI格式。

具體來說，有三個步驟來進(jìn)行后處理：

(1) 缺失的測量值被線性插值；

(2) 通過手眼標(biāo)定結(jié)果將運動捕捉系統(tǒng)提供的姿態(tài)轉(zhuǎn)換到自身框架；

(3) 事件包在1000 Hz左右重新發(fā)布，用于一些基于事件的算法。

4. 實驗

作者使用它們開發(fā)的數(shù)據(jù)集來測試SOTA SLAM系統(tǒng)，評估了幾個具有不同傳感器組合和方法的開源系統(tǒng)：VINS-Fusion (IMU+雙目)，ESVO (事件相機)，A-LOAM (激光雷達(dá))，LIO-Mapping (IMU+激光雷達(dá))，LIO-SAM (IMU+激光雷達(dá))，以及FAST-LIO2 (IMU+激光雷達(dá))，表4所示是定量的定位結(jié)果對比，圖5是一些定性對比實驗。

表4 定位精度對比

圖5 不同算法軌跡的定性對比

其中，"LC"表示使用了閉環(huán)模塊，"x"表示算法無法完成序列。ESVO因為不能完成所有序列，所以沒有展示結(jié)果。VINS-Fusion和Fast-LIO2因為不能很好得完成初始化，在某些情況下會失敗。沒有IMU的幫助，A-LOAM無法處理不平穩(wěn)和快速的運動，因此在兩個MCR序列和四足機器人的所有序列上表現(xiàn)不佳。雖然FAST-LIO2有時在幾個序列上具有不可靠的結(jié)果。令人驚訝的是，LIO-SAM在所有基于四足機器人的序列中表現(xiàn)良好，甚至在大旋轉(zhuǎn)和快速運動中也是如此。因為低紋理條件，走廊序列對所有的方法都是一種挑戰(zhàn)。

此外，作者還評估了A-LOAM和LIO-SAM在走廊和花園序列中的建圖質(zhì)量。如圖6所示，平均距離分別為0.938米和0.597米。尤其是走廊建圖過程中，A-LOAM的地圖在z軸上漂移較大.

圖6 對(a) A-LOAM和(b) LIO-SAM建圖精度的評估

5. 結(jié)論

在2022 IROS論文"FusionPortable: A Multi-Sensor Campus-Scene Dataset for Evaluation of Localization and Mapping Accuracy on Diverse Platforms"中，作者介紹了FusionPortable基準(zhǔn)，這是一個來自各種平臺上不同校園場景的多傳感器數(shù)據(jù)集。作者首先介紹了他們獨立的、即插即用的多傳感器裝置，這些設(shè)備大大提高了移動機器人的感知能力。在介紹完數(shù)據(jù)集的配置、校準(zhǔn)以及各項參數(shù)以后，作者在其上運行了當(dāng)前的SOTA SLAM算法。此外，作者提出，他們計劃將這個數(shù)據(jù)集擴展到校園規(guī)模的環(huán)境之外?！　?/p>