作者：小張Tt?

本文介紹了一種用于道路場(chǎng)景中魯棒的自動(dòng)多攝像頭校準(zhǔn)和修正的方法。該方法利用了從粗糙到精細(xì)的隨機(jī)搜索策略，可以解決初始外部參數(shù)的較大擾動(dòng)，并彌補(bǔ)了非線性優(yōu)化方法陷入局部最優(yōu)值的缺陷。通過(guò)在實(shí)際和模擬環(huán)境中進(jìn)行的定量和定性實(shí)驗(yàn)，結(jié)果表明所提出的方法可以實(shí)現(xiàn)準(zhǔn)確性和魯棒性的性能。

1 前言

本文提出了一種基于光度誤差的道路場(chǎng)景下全景相機(jī)外部參數(shù)校準(zhǔn)的全自動(dòng)無(wú)目標(biāo)方法。該方法使用了從粗糙到精細(xì)的隨機(jī)搜索策略，可以適應(yīng)較大的初始外部參數(shù)誤差，同時(shí)避免了在非線性優(yōu)化方法中陷入最優(yōu)局部值的問(wèn)題。在模擬和真實(shí)數(shù)據(jù)集上，該方法表現(xiàn)出有希望的性能。

作者的貢獻(xiàn)有三個(gè)方面:

提出了一種全自動(dòng)、無(wú)目標(biāo)的方法，基于道路場(chǎng)景下鳥(niǎo)瞰視圖中重疊區(qū)域的光度誤差來(lái)進(jìn)行全景相機(jī)外部參數(shù)校準(zhǔn)。

使用了從粗糙到精細(xì)的隨機(jī)搜索策略，可以適應(yīng)較大的初始外部參數(shù)誤差。同時(shí)，避免了在非線性優(yōu)化方法中陷入最優(yōu)局部值的問(wèn)題。

所提出的方法在作者的模擬和真實(shí)數(shù)據(jù)集上表現(xiàn)出有希望的性能；同時(shí)，基于分析，作者開(kāi)發(fā)了一款實(shí)用的校準(zhǔn)軟件，并在GitHub上開(kāi)源，以造福社區(qū)。

2 相關(guān)工作

車道線基于的方法依賴于捕捉到兩條平行車道線，而基于里程計(jì)的方法將校準(zhǔn)問(wèn)題納入到視覺(jué)里程計(jì)或完整SLAM系統(tǒng)的優(yōu)化中?；诠舛鹊姆椒ú捎弥苯訄D像對(duì)齊的方法，利用局部亮度來(lái)確定優(yōu)化步驟。這些方法都存在一些局限性和缺點(diǎn)，例如強(qiáng)依賴平行車道線的方法對(duì)SVS情況不適用，而基于里程計(jì)的方法需要大量時(shí)間和計(jì)算資源?；诠舛鹊姆椒m能在稀疏紋理場(chǎng)景下表現(xiàn)出更好的魯棒性，但仍然基于非線性優(yōu)化方法，不能解決較大的干擾。因此，需要進(jìn)一步研究基于SVS的在線校準(zhǔn)方法，以克服上述方法的局限性并提高校準(zhǔn)的魯棒性和效率。

3 ?方法

本節(jié)介紹了作者方法的細(xì)節(jié)，包括紋理關(guān)鍵點(diǎn)提取、優(yōu)化損失和從粗到細(xì)的解決方案。

3.1. Texture points extraction and optimization loss —— 紋理點(diǎn)提取和優(yōu)化損失

本節(jié)將討論如何生成BEV圖像、提取紋理、將紋理像素投射回原始點(diǎn)云，并優(yōu)化損失函數(shù)。

投射模型本節(jié)介紹了如何基于相機(jī)投影模型生成BEV圖像，并從中提取紋理，然后將紋理像素投影回原始點(diǎn)云，并使用損失優(yōu)化方法。投影模型利用相機(jī)的姿態(tài)和內(nèi)參矩陣，將地面坐標(biāo)系的點(diǎn)投影到相機(jī)圖像平面上。然后，將BEV圖像的坐標(biāo)反投影回相機(jī)坐標(biāo)系，以獲得原始相機(jī)圖像上點(diǎn)的坐標(biāo)。最后，通過(guò)對(duì)映射關(guān)系的應(yīng)用，可以得到每個(gè)相機(jī)視角的BEV圖像。

2）紋理點(diǎn)提取

本節(jié)介紹了紋理點(diǎn)提取的方法。根據(jù)相鄰相機(jī)的公共視野，利用多視角幾何先驗(yàn)知識(shí)和初始校準(zhǔn)參數(shù)，將一個(gè)相機(jī)的BEV紋理像素投影回另一個(gè)相機(jī)的圖像，并通過(guò)計(jì)算光度損失對(duì)其進(jìn)行優(yōu)化，使得兩個(gè)相機(jī)的BEV紋理位置重疊。在公共視野區(qū)域，通過(guò)計(jì)算像素的光度梯度，并與閾值進(jìn)行比較，可以提取紋理像素點(diǎn)。此外，如果相鄰相機(jī)具有不同的曝光條件，需要進(jìn)行處理。

3）計(jì)算光度損失

本節(jié)介紹了如何計(jì)算光度損失。首先，將相機(jī)的BEV紋理像素點(diǎn)投影到相機(jī)的圖像上，得到對(duì)應(yīng)的像素點(diǎn)，并計(jì)算這兩個(gè)相機(jī)視圖之間的光度損失。光度損失衡量了相機(jī)的BEV圖像和相機(jī)圖像之間的差異。通過(guò)將方程展開(kāi)，可以得到光度損失的計(jì)算公式。

通過(guò)結(jié)合位姿和相機(jī)投影方程將公式進(jìn)一步展開(kāi)。

3.2. The coarse-to-fine solution —— 由粗到細(xì)的解決方案

本文介紹了一種旨在生成無(wú)縫車輛環(huán)視圖像的校準(zhǔn)方法。首先利用前視攝像頭通過(guò)消失點(diǎn)和水平線校準(zhǔn)相機(jī)到車體的外參。然后通過(guò)遞歸優(yōu)化相鄰攝像頭的光度損失來(lái)優(yōu)化所有其他攝像頭的外參。由于光度損失優(yōu)化的圖像對(duì)齊問(wèn)題是非凸優(yōu)化問(wèn)題，很難通過(guò)凸優(yōu)化技術(shù)進(jìn)行優(yōu)化，因此需要提供合理而穩(wěn)健的初始外參估計(jì)。為此，本文采用了粗到精的隨機(jī)搜索策略，通過(guò)在當(dāng)前最優(yōu)參數(shù)周圍隨機(jī)搜索參數(shù)空間來(lái)優(yōu)化光度損失。該策略類似于非線性優(yōu)化中的梯度下降方法，但可以避免陷入局部最優(yōu)值。在每個(gè)階段的隨機(jī)搜索中，通過(guò)計(jì)算光度損失來(lái)評(píng)估當(dāng)前姿態(tài)的效果，并根據(jù)評(píng)估結(jié)果更新最優(yōu)姿態(tài)。通過(guò)多輪隨機(jī)搜索，可以得到相對(duì)最優(yōu)的姿態(tài)，從而生成具有較小光度損失的車輛環(huán)視圖像。

4 實(shí)驗(yàn)

本文的實(shí)驗(yàn)部分分為真實(shí)實(shí)驗(yàn)和模擬實(shí)驗(yàn)兩個(gè)部分。真實(shí)實(shí)驗(yàn)在作者的無(wú)人駕駛車輛測(cè)試平臺(tái)上進(jìn)行，而模擬實(shí)驗(yàn)基于Carla引擎進(jìn)行。這樣的設(shè)計(jì)使得作者能夠在真實(shí)環(huán)境和虛擬環(huán)境下對(duì)所提出的方法進(jìn)行全面的測(cè)試和評(píng)估。

4.1. 實(shí)驗(yàn)設(shè)置

本文的實(shí)驗(yàn)部分介紹了機(jī)器配置和數(shù)據(jù)集的設(shè)置。作者的算法在Ubuntu操作系統(tǒng)上執(zhí)行，使用了特定配置的處理器。實(shí)驗(yàn)使用了Carla模擬數(shù)據(jù)和真實(shí)世界的魚(yú)眼攝像頭數(shù)據(jù)。為了去除自車占據(jù)的區(qū)域，作者使用了ROI對(duì)BEV圖進(jìn)行濾波處理。這樣的實(shí)驗(yàn)設(shè)置可以幫助作者評(píng)估和驗(yàn)證算法的性能和效果。

4.2. 定性結(jié)果

作者的方法通過(guò)校準(zhǔn)內(nèi)參和外參參數(shù)，將四個(gè)相機(jī)投影到BEV中，以更好地可視化性能。圖5展示了針孔相機(jī)的結(jié)果，而圖6和圖7則展示了魚(yú)眼相機(jī)校準(zhǔn)前后的結(jié)果。

?

?

4.3. 定量結(jié)果

本研究通過(guò)與現(xiàn)有工作進(jìn)行比較，證明了作者的校準(zhǔn)方法在環(huán)景視圖系統(tǒng)在線外參校正問(wèn)題上具有較高的精度。在初始誤差超過(guò)0.3°后，有些的方法無(wú)法繼續(xù)校準(zhǔn)，而作者的方法仍然能夠獲得更好的結(jié)果。作者的校準(zhǔn)算法能夠?qū)⒊跏颊`差控制在3°范圍內(nèi)。

5 總結(jié)

本研究中，作者通過(guò)采用分級(jí)粗到細(xì)的隨機(jī)搜索方法來(lái)解決了環(huán)景視圖相機(jī)的在線校準(zhǔn)問(wèn)題，并克服了傳統(tǒng)特征或直接方法的一些局限性。作者的方法在處理失真和非線性優(yōu)化問(wèn)題時(shí)表現(xiàn)良好，并且能夠有效處理較大的初始誤差。未來(lái)的研究方向包括優(yōu)化算法的實(shí)時(shí)性能，并在紋理不明顯的環(huán)境中進(jìn)一步提升算法性能。

編輯：黃飛

?