文章：Online Camera-to-ground Calibration for Autonomous Driving

作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu, and Wende Zhang

相機(jī)與地面的在線標(biāo)定是一般指實(shí)時(shí)生成相機(jī)與道路平面之間的非剛體變換，現(xiàn)有的解決方案常常利用靜態(tài)標(biāo)定，在面對(duì)輪胎氣壓變化、車(chē)輛載重體積變化和道路表面多樣性等環(huán)境變化時(shí)存在問(wèn)題。其他在線解決方案利用道路元素或圖像中重疊視圖之間的光度一致性，這需要在道路上連續(xù)檢測(cè)特定目標(biāo)或借助多個(gè)攝像頭來(lái)進(jìn)行標(biāo)定。在這項(xiàng)工作中提出了一種在線的單目相機(jī)與地面標(biāo)定解決方案，不需要在行駛過(guò)程中使用任何特定目標(biāo)。通過(guò)輪速里程計(jì)進(jìn)行粗到精的地面特征提取，并通過(guò)基于滑動(dòng)窗口的因子圖優(yōu)化來(lái)估計(jì)相機(jī)與地面的標(biāo)定參數(shù)。考慮到駕駛過(guò)程中相機(jī)與地面之間的非剛性變換，我們提供了衡量標(biāo)定性能的指標(biāo)和停止標(biāo)準(zhǔn)，以發(fā)布我們滿(mǎn)意的標(biāo)定結(jié)果。使用真實(shí)的數(shù)據(jù)進(jìn)行的廣泛實(shí)驗(yàn)表明該算法有效，并且優(yōu)于現(xiàn)有的技術(shù)。

介紹

現(xiàn)代車(chē)輛配備了各種攝像頭，以獲取與周?chē)h(huán)境相關(guān)的豐富語(yǔ)義信息，并將特征統(tǒng)一在共享的鳥(niǎo)瞰圖中，以支持可解釋的運(yùn)動(dòng)規(guī)劃任務(wù)。相機(jī)與地面的標(biāo)定在確定相機(jī)坐標(biāo)和地面坐標(biāo)之間的特征位置的幾何變換方面起著關(guān)鍵作用。它有助于消除相機(jī)的透視畸變，提供鳥(niǎo)瞰圖表示空間，并且便于估算安裝在車(chē)輛上的相機(jī)與地面上位置之間的距離，這在先進(jìn)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛系統(tǒng)中被廣泛應(yīng)用。 在過(guò)去的幾十年中，已經(jīng)提出了許多相機(jī)與地面的標(biāo)定方法。這些方法通?？梢苑譃閮深?lèi)： （1）靜態(tài)標(biāo)定； （2）行駛過(guò)程中的在線標(biāo)定。 第一類(lèi)方法通常使用諸如棋盤(pán)格或手動(dòng)標(biāo)注的地面物體等各種模式，事先計(jì)算相機(jī)與地面之間的變換關(guān)系。然而，由于車(chē)輛在道路上行駛時(shí)，由于輪胎氣壓變化、車(chē)輛載荷變化、道路表面多樣性和部件振動(dòng)，此類(lèi)變換是非剛性的。相機(jī)與地面的標(biāo)定應(yīng)在行駛過(guò)程中進(jìn)行多次，以調(diào)整幾何投影的變化。例如，由周?chē)晥D魚(yú)眼相機(jī)捕獲的圖像在圖1(a)中，靜態(tài)標(biāo)定在圖1(b)中會(huì)導(dǎo)致BEV圖像不準(zhǔn)確。在線標(biāo)定可以減小變換誤差，確保適當(dāng)?shù)靥幚硗队白兓⑸蓤D1(c)中對(duì)齊良好的BEV圖像。

第二類(lèi)現(xiàn)有方法應(yīng)用在線標(biāo)定，這需要從道路上提取出特定的幾何形狀，例如單目相機(jī)的消失點(diǎn)和周?chē)晥D相機(jī)提取的車(chē)道標(biāo)線，或者多個(gè)相機(jī)之間重疊區(qū)域的光度一致性，以輔助標(biāo)定調(diào)整。然而，在各種行駛環(huán)境中很難保持這些要求。在這種情況下，需要在使用單個(gè)攝像頭連續(xù)圖像的情況下進(jìn)行相機(jī)與地面的標(biāo)定，而不依賴(lài)于任何特定的標(biāo)定目標(biāo)。

主要內(nèi)容

本文采用了一種從粗到精的方法，在車(chē)輛行駛在道路上時(shí)，通過(guò)因子圖優(yōu)化獲取地面特征并優(yōu)化相機(jī)到地面的標(biāo)定參數(shù)，而無(wú)需使用任何特定的標(biāo)定目標(biāo)。利用圖像中水平線分離地面和非地面區(qū)域，通過(guò)輪式測(cè)程法預(yù)測(cè)地面特征的位置，并使用基于幾何的方法驗(yàn)證地面特征。對(duì)三角測(cè)量的地面特征進(jìn)行平面擬合，以獲取地面的法向量和相機(jī)到地面的高度，并通過(guò)因子圖優(yōu)化進(jìn)一步改進(jìn)這些參數(shù)，以確定相機(jī)到地面的變換關(guān)系。考慮到在駕駛過(guò)程中相機(jī)到地面的非剛性變換，還提出了度量標(biāo)定性能的指標(biāo)和停止準(zhǔn)則，以確保標(biāo)定質(zhì)量。 圖2展示了我們的系統(tǒng)框圖。主要包含以下模塊：首先利用運(yùn)動(dòng)學(xué)自車(chē)模型恢復(fù)圖像關(guān)鍵幀之間的相對(duì)運(yùn)動(dòng)，以便進(jìn)行相機(jī)姿態(tài)估計(jì)和地面點(diǎn)三角測(cè)量；其次從關(guān)鍵幀中提取粗糙的地面特征，通過(guò)車(chē)輛運(yùn)動(dòng)進(jìn)行特征預(yù)測(cè)，并進(jìn)一步進(jìn)行優(yōu)化地面特征驗(yàn)證過(guò)程；然后進(jìn)行地面平面擬合，獲取地面法向量和相機(jī)到地面的高度；然后通過(guò)因子圖優(yōu)化來(lái)細(xì)化相機(jī)姿態(tài)和相機(jī)到地面的變換參數(shù)，并提出了一個(gè)停止標(biāo)定準(zhǔn)則，確定何時(shí)發(fā)布相機(jī)到地面的標(biāo)定結(jié)果。

圖2. 系統(tǒng)框架 A. 通過(guò)輪速里程計(jì)測(cè)量的相機(jī)運(yùn)動(dòng)? 利用CAN總線系統(tǒng)提供的連續(xù)車(chē)輪里程讀數(shù)估計(jì)車(chē)輛隨時(shí)間的姿態(tài)變化，并確定相機(jī)關(guān)鍵幀之間的相對(duì)運(yùn)動(dòng)，以恢復(fù)單目相機(jī)系統(tǒng)的尺度因子。具體公式推導(dǎo)查看原文。 B. 連續(xù)關(guān)鍵幀的地面提取? 地面特征（即車(chē)輛所行駛的道路表面上的特征）在相機(jī)與地面標(biāo)定中起著重要作用。在城市/郊區(qū)環(huán)境中，大多數(shù)地面特征位于具有相似紋理的混凝土或?yàn)r青道路表面上，這些特征很難提取和匹配。提出了一種新穎的粗到細(xì)的地面特征提取架構(gòu)，用于穩(wěn)健的相機(jī)與地面標(biāo)定，首先，我們引入地平線提取方法，通過(guò)車(chē)輛運(yùn)動(dòng)預(yù)測(cè)地面特征的位置，以便進(jìn)行特征匹配。然后，我們利用幾何方法來(lái)驗(yàn)證地面特征，并進(jìn)行地面平面擬合，以獲得地面法線向量和相機(jī)中心到地面的高度。在進(jìn)行標(biāo)定時(shí)，選擇以穩(wěn)定速度行駛時(shí)的關(guān)鍵幀，這樣可以在不同的圖像幀之間獲得較小的相機(jī)姿態(tài)變化，有利于標(biāo)定過(guò)程的穩(wěn)定性，關(guān)鍵幀是指在時(shí)間序列中選擇的一幀圖像，通常表示為時(shí)間間隔的起點(diǎn)。從選擇的關(guān)鍵幀開(kāi)始，通過(guò)KLT稀疏光流算法提取圖像中的角點(diǎn)特征，并進(jìn)行跟蹤。然后通過(guò)水平線分割圖像，可以篩選位于水平線以下的特征點(diǎn)來(lái)選擇地面特征，并利用車(chē)輛的運(yùn)動(dòng)信息進(jìn)一步預(yù)測(cè)地面特征在下一個(gè)關(guān)鍵幀中的位置，這樣，我們可以有效地提取和跟蹤地面特征，為后續(xù)的相機(jī)到地面標(biāo)定和場(chǎng)景理解提供重要的信息。

圖3. 通過(guò)車(chē)輛運(yùn)動(dòng)進(jìn)行特征預(yù)測(cè)，這里，Ok是關(guān)鍵幀Ik的相機(jī)中心。 圖4. 粗糙的地面特征提取，對(duì)于每個(gè)特征，通過(guò)車(chē)輛運(yùn)動(dòng)預(yù)測(cè)其在下一個(gè)關(guān)鍵幀中的位置（a）。因此，與沒(méi)有任何預(yù)測(cè)的KLT跟蹤器中的特征相比，在（b）中我們有更多的、質(zhì)量更高的匹配特征對(duì)。進(jìn)一步在（d）中從（b）中均勻采樣/選擇特征以進(jìn)行計(jì)算優(yōu)化。這里，紅色線段的端點(diǎn)表示關(guān)鍵幀Ik和Ik+1之間的匹配特征，綠色線是地平線。 C. 跨關(guān)鍵幀地面優(yōu)化 采用基于滑動(dòng)窗口的因子圖優(yōu)化方法來(lái)優(yōu)化相機(jī)姿態(tài)、地面法向量和相機(jī)中心到地面的高度。通過(guò)使用單應(yīng)性變換矩陣，可以將當(dāng)前關(guān)鍵幀的特征點(diǎn)投影到上一關(guān)鍵幀的圖像中。然后，我們通過(guò)最小化重投影誤差來(lái)優(yōu)化相機(jī)姿態(tài)和地面參數(shù)，以確保在上一關(guān)鍵幀中的特征點(diǎn)與當(dāng)前關(guān)鍵幀中的投影點(diǎn)之間的一致性。具體來(lái)說(shuō)，我們首先計(jì)算從當(dāng)前關(guān)鍵幀到上一關(guān)鍵幀的相機(jī)姿態(tài)變換。然后，根據(jù)相機(jī)姿態(tài)變換將當(dāng)前關(guān)鍵幀的特征點(diǎn)投影到上一關(guān)鍵幀的圖像平面上。接下來(lái)，我們計(jì)算投影點(diǎn)與上一關(guān)鍵幀中的特征點(diǎn)之間的重投影誤差，并將其作為優(yōu)化問(wèn)題的目標(biāo)函數(shù)。通過(guò)最小化這個(gè)目標(biāo)函數(shù)，我們可以同時(shí)調(diào)整相機(jī)姿態(tài)、地面法向量和相機(jī)中心到地面的高度，從而得到更準(zhǔn)確的地面參數(shù)。通過(guò)這種跨關(guān)鍵幀的地面優(yōu)化方法，可以更好地優(yōu)化相機(jī)姿態(tài)和地面參數(shù)，提高相機(jī)到地面的標(biāo)定精度，并為后續(xù)的路徑規(guī)劃和場(chǎng)景感知任務(wù)提供更準(zhǔn)確的地面信息。

實(shí)驗(yàn)

在各種駕駛場(chǎng)景下使用乘用車(chē)實(shí)現(xiàn)了我們的算法并進(jìn)行了大量實(shí)驗(yàn)，車(chē)輛安裝了由四個(gè)向下朝向的魚(yú)眼攝像機(jī)組成的全景攝像系統(tǒng)（參見(jiàn)圖1（a）中的示例），這些攝像機(jī)與車(chē)輪編碼器數(shù)據(jù)同步。攝像機(jī)的幀率為33 Hz，圖像分辨率調(diào)整為812×540。我們收集了來(lái)自不同區(qū)域的長(zhǎng)序列連續(xù)數(shù)據(jù)，以分析我們算法的效率和魯棒性（參見(jiàn)表I）。這些數(shù)據(jù)涵蓋了從平坦的鋪裝地面（FPG）到城市、郊區(qū)和農(nóng)村等不同天氣、光照和駕駛條件下的公共道路，F(xiàn)PG數(shù)據(jù)來(lái)自極其平坦的瀝青路面，用于驗(yàn)證我們動(dòng)態(tài)標(biāo)定的基準(zhǔn)性能。表I的最后一列表示車(chē)輛行駛而不是停車(chē)的時(shí)間百分比。 圖6 我們的方法在具有挑戰(zhàn)性的駕駛場(chǎng)景中表現(xiàn)良好，圖中的標(biāo)簽與表格I從上到下對(duì)應(yīng)。

將我們的方法與現(xiàn)有的最先進(jìn)方法進(jìn)行比較，從而定性地檢驗(yàn)性能，包括Liu等人[23]、OECS[24]和ROECS[25]在我們的數(shù)據(jù)集上的性能。首先比較了在FPG數(shù)據(jù)上的標(biāo)定性能，并在表II中總結(jié)了結(jié)果。與我們的對(duì)手一樣，我們的方法在車(chē)輛行駛在FPG上時(shí)能夠生成連續(xù)穩(wěn)定的相機(jī)到地面的標(biāo)定。因此，我們顯示了與地面真實(shí)（GT）標(biāo)定的歐拉角差的平均值，并評(píng)估絕對(duì)變化量δr、δp和δy。這里，δr、δp和δy分別表示滾轉(zhuǎn)角、俯仰角和偏航角的變化量。表II中的δh列是相機(jī)中心到地面的高度位移。在表II中，即使在圖像上沒(méi)有可辨別紋理的混凝土路面上，我們的在線方法也取得了更好的性能。例如，我們的方法在俯仰角、偏航角和高度估計(jì)方面分別獲得了顯著的絕對(duì)增益，分別為44.4%、50.0%和71.2%。

為了展示我們提出的方法的優(yōu)越性，我們?cè)趫D7中呈現(xiàn)了（11）和（12）的誤差直方圖。在圖7中獲得了不同區(qū)間的誤差差異，作為我們相對(duì)于最先進(jìn)工作的性能提升的總和。我們的方法在不同水平下具有相對(duì)較小的特征轉(zhuǎn)移誤差f，并且誤差保持在0.83像素以?xún)?nèi)，這在不同數(shù)據(jù)序列中保持一致。我們的方法在郊區(qū)數(shù)據(jù)上獲得了最低的性能增益44.2%，在城市數(shù)據(jù)上獲得了最高的性能增益67.6%。在從城市到農(nóng)村地區(qū)的公共道路駕駛數(shù)據(jù)中，與最先進(jìn)方法相比，我們的方法在誤差p方面表現(xiàn)更好。誤差p在0.75像素以?xún)?nèi)變化，并且90.9%的誤差在0.67像素以?xún)?nèi)。在考慮平坦道路條件的情況下，性能提高了12.7%，在郊區(qū)數(shù)據(jù)中獲得了最高得分，而在FPG數(shù)據(jù)中獲得了最低得分，為1.59%。?

圖7. 表I中數(shù)據(jù)序列的性能直方圖。水平軸的值對(duì)應(yīng)于（11）和（12）中的誤差，垂直軸是概率密度。請(qǐng)放大查看詳細(xì)信息。 圖8展示了在車(chē)輛以高速直行時(shí)不同方法生成的鳥(niǎo)瞰圖像的視覺(jué)結(jié)果。我們的方法不依賴(lài)于不同攝像頭之間的重疊區(qū)域或特定物體，獲得了較小的特征殘差誤差，并生成了更好對(duì)齊的鳥(niǎo)瞰圖像，原因如下： （1）直行車(chē)道標(biāo)線與車(chē)輛行駛方向平行， （2）攝像頭之間的車(chē)道標(biāo)線互相重疊， （3）道路上的混凝土裂縫在相鄰攝像頭鳥(niǎo)瞰圖像的重疊區(qū)域上連接在一起。

圖8. 在行駛過(guò)程中城市I數(shù)據(jù)的示例結(jié)果。我們展示了(a)我們的結(jié)果，(b)ROECS [25]，(c)OECS [24]和(d)Liu等人的結(jié)果。

總結(jié)

我們提出了一種在線相機(jī)到地面無(wú)目標(biāo)標(biāo)定方法，用于在行駛過(guò)程中生成相機(jī)坐標(biāo)與地面坐標(biāo)之間的非剛體變換。采用了一種新穎的粗到精的架構(gòu)來(lái)選擇地面特征，并通過(guò)基于幾何的方法進(jìn)行驗(yàn)證。對(duì)三角化的地面特征進(jìn)行平面擬合，以獲得地面法向量和相機(jī)到地面的高度，然后通過(guò)滑動(dòng)窗口的因子圖優(yōu)化對(duì)其進(jìn)行優(yōu)化。通過(guò)旋轉(zhuǎn)平均確定相機(jī)到地面的變換，并提供停止標(biāo)準(zhǔn)來(lái)廣播滿(mǎn)足標(biāo)定結(jié)果的情況。使用從不同天氣和駕駛條件下收集的真實(shí)數(shù)據(jù)對(duì)我們的算法進(jìn)行了廣泛測(cè)試，結(jié)果顯示我們的方法是有效的，并且優(yōu)于最先進(jìn)的技術(shù)。在未來(lái)，我們將減少因子圖優(yōu)化的運(yùn)行時(shí)間復(fù)雜度，并進(jìn)行可觀測(cè)性分析，以識(shí)別幫助丟棄不需要用于標(biāo)定計(jì)算的姿態(tài)和地面特征的退化場(chǎng)景。 —END—

編輯：黃飛