激光雷達(dá)攝像機標(biāo)定作為數(shù)據(jù)融合的重要步驟，對自主車輛和機器人導(dǎo)航具有重要意義。大多數(shù)校準(zhǔn)方法依賴手工制作的特征，需要大量提取的特征或特定的校準(zhǔn)目標(biāo)。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，一些人嘗試?yán)镁矸e神經(jīng)網(wǎng)絡(luò)來回歸6個自由度（DOF）的外部參數(shù)。然而，據(jù)報道，這些基于深度學(xué)習(xí)的方法的性能比非深度學(xué)習(xí)的方法更差。本文提出了一種結(jié)合深度學(xué)習(xí)和幾何方法的激光雷達(dá)相機外部標(biāo)定在線算法。通過定義一個雙通道圖像命名為校準(zhǔn)流，以說明從初始投影到地面真值的偏差。采用隨機樣本一致性（RANSAC）方案中的EPnP算法，利用校準(zhǔn)流構(gòu)建的二維-三維對應(yīng)關(guān)系估計外部參數(shù)。在KITTI數(shù)據(jù)集上的實驗表明，本文提出的方法優(yōu)于目前最先進(jìn)的方法。在此基礎(chǔ)上，提出了一種引入實例質(zhì)心的語義初始化算法。

　　引言

　　場景感知是自動駕駛和機器人導(dǎo)航的一個重要方面。對周圍環(huán)境中物體的魯棒感知依賴于安裝在移動平臺上的各種機載傳感器。光探測與測距（LiDAR）傳感器可以獲得大范圍、高精度的場景空間測量。但激光雷達(dá)傳感器的分辨率較低，特別是在水平方向上，缺乏顏色和紋理信息。相機傳感器可以提供高分辨率的RGB圖像，但對光照變化敏感，沒有距離信息。激光雷達(dá)和相機傳感器的結(jié)合可以彌補彼此的不足。這兩個傳感器的有效融合對于三維目標(biāo)檢測以及語義映射任務(wù)至關(guān)重要。外部標(biāo)定是激光雷達(dá)與相機融合的一個重要過程，需要通過外部標(biāo)定來準(zhǔn)確估計激光雷達(dá)與相機之間的剛體變換。

　　早期的激光雷達(dá)相機校準(zhǔn)方法依賴于特定的校準(zhǔn)目標(biāo)，如棋盤或自制物體。通過手工標(biāo)注或自動標(biāo)注獲得二維特征點（攝像機圖像）與三維特征點（激光雷達(dá)點云）之間的匹配關(guān)系，然后利用該匹配關(guān)系計算外部參數(shù)。自動駕駛汽車在運行過程中，由于運行環(huán)境的變化（如振動等），會對外部參數(shù)產(chǎn)生不可控的偏差。針對這一問題，提出了一系列無目標(biāo)在線自校正算法，有效地提高了自適應(yīng)能力。這些在線定標(biāo)方法主要利用圖像和點云的強度以及邊緣相關(guān)性來計算外部定標(biāo)參數(shù)。這種技術(shù)依賴于準(zhǔn)確的初始外部參數(shù)或附加的運動信息（手眼標(biāo)定初始化）。此外，用于構(gòu)建標(biāo)定參數(shù)懲罰函數(shù)的特征通常是手工設(shè)置的，高度依賴于場景，在沒有特征的情況下無法工作。

　　近年來，有一些方法嘗試?yán)蒙疃葘W(xué)習(xí)來預(yù)測激光雷達(dá)與相機之間的相對變換。與傳統(tǒng)方法相比，這些方法的標(biāo)定誤差仍然較大。因此，這些基于學(xué)習(xí)的標(biāo)定方法不能滿足標(biāo)定要求。此外，在實際應(yīng)用中，當(dāng)傳感器參數(shù)發(fā)生變化時，需要大量的訓(xùn)練數(shù)據(jù)來對網(wǎng)絡(luò)模型進(jìn)行微調(diào)，這極大地限制了算法的泛化能力。

　　本文提出了一種自動在線激光雷達(dá)相機自標(biāo)定方法CFNet。CFNet是全自動的，不需要特定的校準(zhǔn)場景、校準(zhǔn)目標(biāo)和初始校準(zhǔn)參數(shù)。我們定義一個校準(zhǔn)流來表示初始投影點的位置與地面真值之間的偏差。利用預(yù)測的校準(zhǔn)流對初始投影點進(jìn)行校正，以建立精確的2D-3D對應(yīng)關(guān)系。采用EPnP算法計算RANSAC方案的最終外部參數(shù)。為了使CFNet完全自動化，我們還提出了一種語義初始化算法。更具體地說，CFNet的貢獻(xiàn)如下：

　?。?）據(jù)我們所知，CFNet是第一種結(jié)合了深度學(xué)習(xí)和幾何方法的激光成像相機外部標(biāo)定方法。與直接預(yù)測標(biāo)定參數(shù)相比，CFNet具有較強的泛化能力。

　　（2）定義校準(zhǔn)流來預(yù)測初始投影點位置與地面真值之間的偏差。校準(zhǔn)流可以將初始投影移到正確的位置，構(gòu)建精確的2D-3D對應(yīng)。

　　（3）引入二維/三維實例質(zhì)心（IC）來估計初始外部參數(shù)。利用該語義初始化過程，CFNet可以自動執(zhí)行激光雷達(dá)攝像機標(biāo)定。

　　總結(jié)：（1）早期的雷達(dá)相機標(biāo)定方法：依賴于特定的目標(biāo)，手動或自動標(biāo)注二三維對應(yīng)關(guān)系；無特定目標(biāo)時利用圖像和點云的強度以及邊緣相關(guān)性來計算外部參數(shù)，依賴于準(zhǔn)確的初始外部參數(shù)或附加的運動信息（手眼標(biāo)定初始化）。

　?。?）深度學(xué)習(xí)方法的弊端：標(biāo)定誤差不能滿足要求；當(dāng)傳感器參數(shù)發(fā)生變化時，需要大量的訓(xùn)練數(shù)據(jù)對網(wǎng)絡(luò)模型進(jìn)行微調(diào)，限制了算法的泛化能力。

　?。?）引入二維-三維實例質(zhì)心估計初始外部參數(shù)。

　　方法

　　在本節(jié)中，我們首先描述校準(zhǔn)流的定義。然后提出了校準(zhǔn)方法CFNet，包括網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、語義初始化和訓(xùn)練細(xì)節(jié)。如下圖所示為本文提出的CFNet方法，是一種估計三維激光雷達(dá)與二維相機之間轉(zhuǎn)換參數(shù)的自動在線外部校準(zhǔn)方法。

　　實驗與結(jié)果

　　對KITTI數(shù)據(jù)集的評價結(jié)果如表1所示。

　　可以看出，在所有這些測試序列中，平均平移誤差小于2cm，平均旋轉(zhuǎn)誤差小于0.13度。圖5顯示了兩個CFNet預(yù)測的例子。我們可以看到，重新校準(zhǔn)后的投影深度圖像和RGB圖像中的參考對象對齊準(zhǔn)確。在所有的測試序列中，序列01的校準(zhǔn)誤差最大。主要原因是這個序列是從高速公路場景中收集的，而高速公路場景不包括在訓(xùn)練數(shù)據(jù)集中。

　　與隨機初始標(biāo)定參數(shù)相比，使用語義初始化的校準(zhǔn)結(jié)果能提供更好的初始標(biāo)定參數(shù)。因此，最終的校準(zhǔn)誤差要小得多。此外，語義初始化過程是自動的，基本要求是場景中有效實例對應(yīng)的數(shù)量≥3。由結(jié)果可知，語義初始化的平移誤差遠(yuǎn)大于旋轉(zhuǎn)誤差。即使語義初始化提供的初始參數(shù)與真值偏差較大，我們提出的CFNet也可以預(yù)測準(zhǔn)確的校準(zhǔn)參數(shù)。圖6顯示了一些帶有語義初始化的CFNet預(yù)測示例。第一列檢測實例之間存在較多遮擋，導(dǎo)致2D-3D實例匹配不準(zhǔn)確，預(yù)測的初始標(biāo)定參數(shù)偏差較大。第二列圖像中的實例遮擋比第一列圖像中的要好，因此初始誤差要小得多。在第三列中檢測到的二維和三維實例是完整的，沒有任何遮擋，因此初始校準(zhǔn)參數(shù)非常準(zhǔn)確，與地面真實值的偏差很小。在最后一列中，我們發(fā)現(xiàn)了2D和3D實例之間的不匹配（用箭頭表示），但我們?nèi)匀豢梢缘玫揭粋€很好的初始校準(zhǔn)值。通過語義初始化，無論初始校準(zhǔn)誤差大小，CFNet都能準(zhǔn)確地重新校準(zhǔn)。

　　由KITTI原始記錄的校準(zhǔn)結(jié)果可知，CFNet的平均平移誤差為0.995cm （X， Y， Z： 1.025cm， 0.919cm， 1.042cm），平均角度誤差為0.087度（Roll， Pitch， Yaw： 0.059度，0.110度，0.092度）。很明顯，CFNet遠(yuǎn)遠(yuǎn)優(yōu)于RegNet和CalibNet。雖然CalibNet的誤校準(zhǔn)范圍（±0.2m，±20度）小于CFNet（±1.5m，±20度），但CFNet的校準(zhǔn)性能遠(yuǎn)優(yōu)于CalibNet。

　　我們還在KITTI360基準(zhǔn)數(shù)據(jù)集上測試了CFNet的性能。結(jié)果如圖7所示。盡管在一個周期的數(shù)據(jù)集上重新訓(xùn)練，但在測試序列中獲得了很好的結(jié)果。因此，當(dāng)傳感器參數(shù)（如相機焦距或LiDAR-Camera的外在參數(shù)）發(fā)生變化時，都具有優(yōu)異的性能。

　　結(jié)論

　　本文提出了一種新的激光雷達(dá)相機在線外部標(biāo)定算法。為了表示激光雷達(dá)點云的初始投影與地面真值的偏差，我們定義了一個稱為校準(zhǔn)流的圖像。受光流網(wǎng)絡(luò)的啟發(fā)，設(shè)計了一個深度校準(zhǔn)流網(wǎng)絡(luò)CFNet。通過CFNet的預(yù)測對初始投影點進(jìn)行校正，以構(gòu)建精確的2D-3D對應(yīng)關(guān)系。利用RANSAC方案中的EPnP算法，通過迭代細(xì)化估計外部參數(shù)。實驗證明了CFNet的優(yōu)越性。在KITTI360數(shù)據(jù)集上的附加實驗說明了我們的方法的泛化。 編輯：黃飛