自動駕駛車輛上通常會安裝多個傳感器作為感知輸入源，而首先來說它們之間的坐標(biāo)關(guān)系是需要確定的，那么，傳感器標(biāo)定就是自動駕駛的基本需求。一般情況下，整個標(biāo)定工作可分成內(nèi)參標(biāo)定和外參標(biāo)定兩部分。內(nèi)參是決定傳感器內(nèi)部的映射關(guān)系，比如攝像頭的焦距，偏心和像素橫縱比（+畸變系數(shù)），而外參是決定傳感器和外部某個坐標(biāo)系的轉(zhuǎn)換關(guān)系，比如姿態(tài)參數(shù)（旋轉(zhuǎn)和平移6自由度）。

傳感器校準(zhǔn)是智能車輛穩(wěn)健性能的基礎(chǔ)。傳統(tǒng)且常用的標(biāo)定方法是通過對智駕車輛在工廠下線電檢階段進(jìn)行的。一旦完成標(biāo)定和校準(zhǔn)，其內(nèi)外參數(shù)在交付至客戶手里后將不會自動優(yōu)化更新。

眾所周知，整個智駕感知領(lǐng)域幾乎無一例外的用到了計算機(jī)視覺相關(guān)的AI處理技術(shù)，比如深度學(xué)習(xí)、人工智能、數(shù)據(jù)驅(qū)動的各種優(yōu)化等。

?

以感知最常規(guī)的車道線識別為例。隨著自動駕駛時代的到來，需要車道線識別的應(yīng)用場景也越來越廣泛，相應(yīng)車道線識別技術(shù)也越來越重要，具體原因如下：

第一，覆蓋場景廣，車道線識別存在于自動駕駛大多數(shù)的應(yīng)用場景，是自動駕駛不可或缺的 基礎(chǔ)算法；

第二，重要安全保障，車道線識別能精準(zhǔn)的識別道路并最終幫助機(jī)器決策，也是行車安全的 重要保障。

第三，在高精地圖或輕地圖構(gòu)建領(lǐng)域，車道是所有高精地圖要素的道路關(guān)聯(lián)的主鍵，所以車 道線要素在高精地圖中是重中之重，車道線識別算法也至關(guān)重要。

基于此，自動駕駛對于車道線識別結(jié)果精度的超高要求，而我們發(fā)現(xiàn)在真正識別過程中，已經(jīng)有很多Tier1或者Tier2都會或多或少的在實際路測過程中發(fā)現(xiàn)一些不利的感知結(jié)果。

比如在車輛從產(chǎn)線上下線后上路跑一定時間的路試后，很容易出現(xiàn)車道線跳變，目標(biāo)感知不準(zhǔn)確等結(jié)果。實際上這類問題的源頭這些算法供應(yīng)商也是有一定分析和應(yīng)對能力的。因為大部分這類問題的源頭都來自于由標(biāo)定內(nèi)外參數(shù)所決定的投影矩陣P或單應(yīng)矩陣H。通常情況下，他們采用的優(yōu)化方式包括如下幾種：

1）如果兩條車道線間歇性跳變，則可能是感知算法本身的原因?qū)е碌模@時候考慮在規(guī)控端做預(yù)處理。方法是以兩條車道線做原始輸入，卡爾曼濾波預(yù)測輸出行駛中心線；

2）如果是其中一條車道線做間歇性跳變，則考慮是否是傳感器的某些內(nèi)外參數(shù)值隨著時間推移出現(xiàn)了校準(zhǔn)偏差。解決方法是利用車道線和目標(biāo)來計算一個較好的相機(jī)Pitch值，再在后端加上一些平行假設(shè)便可以很好的解決這類問題；

3）相機(jī)系統(tǒng)的長期運行和免維護(hù)優(yōu)勢只能通過自動校準(zhǔn)方法來保證，它可以根據(jù)需要更新相機(jī)參數(shù)。然而，在自然環(huán)境中，干擾很容易對校準(zhǔn)造成挑戰(zhàn)。一種可能性是使用已知形狀的自然物體來重新校準(zhǔn)傳感器。如果考慮利用識別到的環(huán)境靜態(tài)目標(biāo)對傳感器進(jìn)行實時在線標(biāo)定時，則是利用光流或其他先進(jìn)的視頻跟蹤檢測技術(shù)則可以獲得一個高質(zhì)量的Pitch值。

01

自校準(zhǔn)方法概述

常用的相機(jī)標(biāo)定方法需要一些特殊的參考圖案，例如棋盤，其物理尺寸等。并且，這些都是事先已知的。然而，當(dāng)車輛在路上時，這些特殊圖案并不容易獲得。在這種情況下，自動校準(zhǔn)系統(tǒng)就需要從其環(huán)境中提取參考信息。

總結(jié)起來，對于自動校準(zhǔn)的方法而言可歸類為如下幾種：

1）從道路虛線中提取消失點或道路拐角進(jìn)行在線標(biāo)定。

2）接收來自其他汽車的預(yù)定義特征點來建立對應(yīng)模型，用于獲取交通攝像頭參數(shù)。

3）基于定義車輛流的三個消失點來監(jiān)控攝像頭校準(zhǔn)。

4）通過將行走的人物目標(biāo)為垂直線段來完成相同的工作。

實際上，對于自校準(zhǔn)方法來說，當(dāng)前考慮的策略是可以從道路線中提取特征點用于校準(zhǔn)，但不可能假設(shè)不同區(qū)域的道路線寬度相同。此外，由于磨損，沿道路線的輪廓可能存在缺陷。這些偽圖像和圖像變化將會導(dǎo)致一定的校準(zhǔn)錯誤。

針對以上問題將有兩種解決方案。一種方法是在車端設(shè)計一個結(jié)構(gòu)化道路環(huán)境（在道路上繪制的已知大小的網(wǎng)格），當(dāng)車輛駛近時，攝像機(jī)會檢測到該環(huán)境。另一種方法使用放置在汽車引擎蓋上的幾個標(biāo)記，快速估計車載攝像頭的相對位置和方向。然而，這可能會分散其他司機(jī)的注意力，假設(shè)引擎蓋在攝像頭的視野范圍內(nèi)，并且如果引擎蓋不平坦，則不同車輛的性能可能會有所不同。因此，如上兩種方法都不適合真實的駕駛場景。

02

本文提出的優(yōu)化自校準(zhǔn)方案

本文的重點就是研究一種新的優(yōu)化方案對傳感器的實時在線標(biāo)定。這里的重點是基于識別環(huán)境中的交通標(biāo)志（例如停車標(biāo)志、限速標(biāo)志等幾類常規(guī)的標(biāo)志）并將其用于重新校準(zhǔn)相機(jī)的方法。該方法基于檢測、幾何估計、校準(zhǔn)和遞歸更新幾個步驟來具體實現(xiàn)。實時標(biāo)定的結(jié)果可以清楚地顯示其收斂和改進(jìn)的性能。

與設(shè)計圖案不同，停車標(biāo)志無處不在。停車標(biāo)志的物理尺寸由交通部標(biāo)準(zhǔn)化。與城市環(huán)境中存在的其他參考信息相比，使用交通標(biāo)志，尤其是停車標(biāo)志具有三個優(yōu)勢：

可以亞像素精度檢測到足夠的特征點（從停車標(biāo)志的內(nèi)八角開始至少八個）。

與其他參考對象（例如道路線）相比，停車標(biāo)志的相關(guān)幾何屬性保持不變，因為它們由對外力具有魯棒性的金屬制成。

車輛在接近停車標(biāo)志時減速，減少圖像模糊和滾動快門效果。

傳感器校準(zhǔn)是智能車輛穩(wěn)健性能的基礎(chǔ)。在自然環(huán)境中，干擾很容易對校準(zhǔn)造成挑戰(zhàn)。一種可能性是使用已知形狀的自然物體來重新校準(zhǔn)傳感器。因此，我們提出了一種使用停車標(biāo)志進(jìn)行自動校準(zhǔn)的方法。

整個標(biāo)定邏輯流程圖如下：

如上所描述的檢測重點在于如下幾個重要的模塊處理。

1）交通標(biāo)志檢測：

對于依靠路標(biāo)進(jìn)行實時在線標(biāo)定的情況，需要在行車過程中實時檢測道路中的交通標(biāo)志信息。當(dāng)前，在卷積神經(jīng)網(wǎng)絡(luò) (CNN) 的幫助下，目標(biāo)檢測一直是一個研究得很好的領(lǐng)域。通用的檢測架構(gòu)（例如 YOLO、YOLOv3）可以輕松地實時運行（45 Hz）；而基于提案的架構(gòu)（例如 Faster R-CNN 、FPN）需要更多資源并且通常需要更長的運行時間，在準(zhǔn)確性方面通常優(yōu)于前者，尤其是對于小物體和復(fù)雜場景。此外，標(biāo)記對象像素的實例分割方法也可用于查找停車標(biāo)志邊界框。

2）形狀匹配：

形狀匹配是通過使用相似性度量檢查需要比較較的兩個標(biāo)志形狀的相似性。特別是在我們這種利用停車標(biāo)志進(jìn)行在線標(biāo)定的例子中，檢測到的停車標(biāo)志邊緣包圍的形狀必須是八邊形。這里可以用旋轉(zhuǎn)函數(shù)表示多邊形并測量 Lp 距離。當(dāng)然，也可以進(jìn)一步考慮（除了旋轉(zhuǎn)、平移和尺度不變性之外）仿射不變性。

智能汽車實時在線標(biāo)定系統(tǒng)可分為七個模塊（如下圖）。

前五個部分從城市圖像序列生成角點的 2D-3D 對應(yīng)對，后兩個部分是計算內(nèi)在參數(shù)的最后兩個步驟。這里我們將分別進(jìn)行過程闡述。

1、停止標(biāo)志檢測Stop Sign Detection

標(biāo)志檢測階段通過使用能夠具有 ResNet-50 和特征金字塔網(wǎng)絡(luò)主干的Mask R-CNN 模型對圖像幀進(jìn)行處理，從而生成 2D 邊界框（如上圖a中的綠色框）。Mask R-CNN 模型相對較低的速度不會影響我們當(dāng)前的非實時系統(tǒng)，因為開銷主要在于邊緣線擬合模塊。因此，與 Faster R-CNN 相比，Mask R-CNN 具有更高的停車標(biāo)志檢測率，這可能通過提供更多參考候選來提高我們系統(tǒng)的校準(zhǔn)精度。

2、通過顏色分割檢測輪廓點

該模塊從停車標(biāo)志中檢測紅色內(nèi)八邊形的輪廓點（如上圖b）。圖像預(yù)處理階段，可以使用從 RGB 到 HSV的顏色空間轉(zhuǎn)換來對帶閾值的紅色部分進(jìn)行提取。

然后，在 HSV 圖像上，使用常規(guī)的邊緣檢測算法（如Canny/Devernay 算法）進(jìn)行邊緣提取，從而以亞像素精度來獲得八邊形的輪廓點。由于邊緣檢測算法在本文中是十分重要的。因此，這里可以簡單說明下Canny算法和Devernay的技術(shù)原理。

A、Canny算法

Canny算法實際上是將高斯濾波器的一階導(dǎo)數(shù)應(yīng)用于圖像檢測中，從而可以獲得圖像梯度，其中邊緣點是沿法線方向 n 的局部最大值。

與邊緣正交的方向 n 可以用圖像梯度近似：

如上公式中， G 和 I 分別是高斯濾波器和圖像， * 代表卷積運算符。

B、Devernay 亞像素校正

通過 Canny 算法雖然可以實現(xiàn)基礎(chǔ)的邊緣檢測過程，但是其獲得的邊緣點是整像素精度級別的。而對于我們的系統(tǒng)而言，處理過程都是需要亞像素精度，這可以通過使用 Devernay 矯正算法對Canny進(jìn)行算法改進(jìn)。假設(shè)B是用Canny算法得到的像素點（對應(yīng)法線方向n上的局部梯度最大值）。B 沿 n 的兩個相鄰點的梯度可以通過線性插值來近似。然后，邊緣點的子像素位置被細(xì)化為所有這三個點（沿 n）的一維二次插值的最大值。

接下來是需要對處理結(jié)果進(jìn)行輪廓點鏈接。為了實現(xiàn)這個目的，需要將上述獨立的邊緣檢測點分組形成若干鏈。為了確保輪廓檢測的唯一性，需要采用密集點檢測方法，將包含最多點的一個就會選定為內(nèi)八邊形的輪廓。

3、邊緣線擬合

如上八邊形雖然檢測出了整體的輪廓，但是還需要依靠一定的邊緣線擬合算法將這些輪廓點擬合成真實的八邊形。

操作過程針對給定上面停車標(biāo)志輪廓上的一組二維點 X ∈ R N×2，將其擬合八條線，每條線的估計都會生成八邊形的一條邊。通過找到具有最多“支持點”的線，一次估計一條邊。當(dāng)點到線的距離在接近閾值（本文中，閾值固定為 0.5 個像素距離可以確保亞像素被準(zhǔn)確估計）內(nèi)時，則認(rèn)為該輪廓點可以“支持”對該對應(yīng)線的估計。

如上輪廓線的選擇是通過對原始輪廓點集合運行 RANSAC 算法來完成的。請注意，此處迭代次數(shù)受 N2 的限制，方法是遍歷所有對。一旦一條邊被擬合，所有的支持點都從原始集合中移除，這樣就可以重復(fù)相同的算法來找到不同的邊。

結(jié)合概率p ∈ [0, 1) 最終最小二乘線是最受支持的線的概率，迭代次數(shù) K 可以計算參照如下公式：

其中 w =1(8?i)2 , i ∈ {0, ..., 7} 是從支持集中選擇一個點的機(jī)會，假設(shè) X 中輪廓外的異常值很少。確定 p 涉及考慮估計精度和運行時間之間的權(quán)衡。假如當(dāng)前設(shè)定精度比運算效率更重要，則需要將 p 設(shè)置為盡可能接近 1（例如 0.999）。

4、垂直搜索線細(xì)化

RGB/HSV類型圖像梯度的大小可以實際表示出八邊形輪廓的位置，其中顏色在鄰域中變化最突然?？紤]到智能汽車可能行駛在夜間或可見度不足的場景下，這時由于光照不足可能會導(dǎo)致 HSV 空間中的誤導(dǎo)性顏色分割，原始點可能會偏離輪廓。因此，線細(xì)化是必要的，這里可以通過局部搜索將移動的線調(diào)整回真正的八邊形邊緣。

從估計線開始，我們沿著線的垂直方向搜索局部最大梯度，并旋轉(zhuǎn)線以與其對齊。在曝光不足/曝光過度的情況下，邊緣的梯度峰可能會消失。因此，引入細(xì)化邊界可以很好的解決這個問題。假設(shè)細(xì)化應(yīng)該是微妙的，只有當(dāng)超過一半的 S 細(xì)化點在邊界內(nèi)時，才會更新一條線。

細(xì)化邊界可以用百分比 B ∈ [0, 1] 進(jìn)行參數(shù)化，這意味著細(xì)化點最多是白色邊界寬度的 100 % 沿垂直方向遠(yuǎn)離原始位置。為了估計停車標(biāo)志的白色邊框?qū)挾?，可以將估計的線段的長度乘以交通標(biāo)志規(guī)則中記錄的內(nèi)部多邊形邊緣的寬長比。

5、交點估計

八條估計線最多有28 個交點，而其中只有八個是有效的八邊形角。一種簡單有效且常用的方法是選擇靠近線段端點（例如，在 10 像素距離內(nèi)）的交點。然后，角點數(shù)不等于 8 的任何估計都會被丟棄。

例如，按順時針順序（相對于點的幾何中心）對角點進(jìn)行排序有助于獲得 2D-3D 對應(yīng)關(guān)系。此外，第一個角始終可以設(shè)置為字符“S”的左上角，因為停車標(biāo)志通常是直立的。

為了進(jìn)一步驗證角點的有效性，采用Hausdorff距離方法來保證最終的八點集在仿射變換下形成八邊形。

6、平面物體校準(zhǔn)

通常這類標(biāo)準(zhǔn)的模型可使用針孔相機(jī)模型進(jìn)行校準(zhǔn)。即，將世界坐標(biāo)中的 3D 點 (X, Y, Z) 投影到圖像中作為像素 (u, v)表示。通過以下等式可以將 (u, v) 與 (X, Y, Z) 聯(lián)系起來：

其中 s 是未知標(biāo)量，A ∈ R 3×3 是相機(jī)固有矩陣（假設(shè)無偏斜約束）。r1, r2, r3 是旋轉(zhuǎn)矩陣的列，t 是平移向量。它們通常被稱為相機(jī)外部參數(shù)，因為它們具有將世界坐標(biāo)點轉(zhuǎn)換為相機(jī)坐標(biāo)系的功能。

在標(biāo)定過程中，如果 3D 坐標(biāo)系固定在棋盤或停車標(biāo)志等平面物體上，則等式 3 中的 Z 分量始終為零，從而得到一個簡化的等式：

我們用 M = (X, Y, 1)T 和 m = (u, v, 1)T 分別表示平面物體上一點的位置和它在圖像中的位置。它們的關(guān)系由單應(yīng)矩陣 H 定義如下：

很明顯，H 是一個 3 × 3 矩陣，直到一個比例因子?？梢允褂?N ≥ 4 個點來計算單應(yīng)性矩陣 H。

在我們的系統(tǒng)中，檢測到停車標(biāo)志的 8 個角點后就可以用H =[h1 h2 h3] 來表示 H。由式5可得：

基于 r1, r2 是標(biāo)準(zhǔn)正交的知識，我們得到計算內(nèi)參矩陣 A 所需的兩個約束如下：

這樣就可以獲得計算內(nèi)參矩陣 A 所需的兩個約束。

在我們的系統(tǒng)中，假設(shè)主點固定在圖像平面的中心，只有焦距 fx 和 fy 被計算并迭代更新，那么對于棋盤校準(zhǔn)，我們也需要出于比較的目的強(qiáng)制執(zhí)行此假設(shè)。

封閉形式的解決方案可以通過最大似然推理進(jìn)行改進(jìn)：原始校準(zhǔn)需要用作非線性優(yōu)化問題進(jìn)行初始推算，也可以使用Levenberg-Marquardt 算法進(jìn)行求解。目前，這部分不包含在我們的系統(tǒng)中。

7、卡爾曼濾波器校準(zhǔn)的時間更新

這里的優(yōu)化更新目標(biāo)是隨著時間的推移可能會產(chǎn)生其他的一些噪聲，這時就需要通過不斷地優(yōu)化來整合相機(jī)內(nèi)參矩陣。我們一般假設(shè)該推理過程會引入一些標(biāo)準(zhǔn)的高斯噪聲，那么我們就可以使用具有不同噪聲協(xié)方差矩陣的卡爾曼濾波器來進(jìn)行優(yōu)化和更新。

標(biāo)準(zhǔn)的卡爾曼濾波器預(yù)測公式如下：

其中 xt, xt+1 是在不同時間估計的相機(jī)內(nèi)參向量。研究的一個基本假設(shè)是如果假設(shè)內(nèi)在參數(shù)在短期估計內(nèi)是恒定的，那么F 就可以成為單位矩陣。

此時，整個更新步驟是通過如下公式進(jìn)行的：

過程噪聲和測量噪聲 δ 是具有零均值的高斯隨機(jī)向量。它們的協(xié)方差分別由（對角線）矩陣 Q = E( T )、R = E(δδT ) 表示。Q 指定了我們認(rèn)為內(nèi)在參數(shù)隨時間變化的程度，對于較短的估計期應(yīng)該較低。R 確定一次估計中有多少噪聲。直觀地說，隨著過程的進(jìn)行，這種測量噪聲應(yīng)該從高值開始降低，因為使用的圖像越多，校準(zhǔn)就越準(zhǔn)確。

03

結(jié)論

高階駕駛輔助系統(tǒng)對其傳感器是否具有穩(wěn)健的性能要求十分嚴(yán)苛，因為這是系統(tǒng)能否實現(xiàn)準(zhǔn)確環(huán)境感知的關(guān)鍵。從當(dāng)前的發(fā)展趨勢看起來，最有前途的傳感模式則是成像模式，因為從圖像中可以計算出低成本且豐富的環(huán)境信息。由于相機(jī)系統(tǒng)經(jīng)常用于距離感知、速度推理和目標(biāo)檢測。對于此類應(yīng)用，相機(jī)參數(shù)通常對于重建部分場景和影響測量精度至關(guān)重要。影響參數(shù)準(zhǔn)確性的往往來自原相機(jī)的精確校準(zhǔn)及自適應(yīng)優(yōu)化過程。然而，當(dāng)攝像頭安裝在車輛上時，攝像頭固有的由于道路顛簸引起的機(jī)械振動或天氣引起的溫度波動參數(shù)會發(fā)生變化。因此，長期使用反復(fù)校準(zhǔn)相機(jī)也將是一個挑戰(zhàn)。

本文提出了一種基于識別交通標(biāo)志（例如停車標(biāo)志）并將其用于重新校準(zhǔn)相機(jī)的方法。該方法是基于檢測、幾何估計、校準(zhǔn)和遞歸更新來實現(xiàn)的?？梢栽谛枰钚∠鄼C(jī)運動的任務(wù)開始之前校準(zhǔn)一次相機(jī)，因為可以假定相機(jī)內(nèi)部參數(shù)是靜態(tài)的。實際證明，采用這類道路靜態(tài)目標(biāo)對相機(jī)的實時校準(zhǔn)是非常有效且受用的。后續(xù)我們可以推斷出其他類型的道路靜態(tài)目標(biāo)校準(zhǔn)方式，比如限速牌，人行橫道等典型的標(biāo)識。實際是越多的圖片加入校準(zhǔn)庫，對于實時在線校準(zhǔn)越有利，但是同時也要關(guān)注到整個中央域控的運算能力等。

審核編輯：劉清