作者 |不愛吃香菜的攻城獅

小編 | 不吃豬頭肉
簡介
在自動駕駛發(fā)展如火如荼的今天，L4和L5級 的自動駕駛功能依舊處于算法開發(fā)和驗證的階段，就無可避免的需要極其龐大的路試數(shù)據(jù)用以支撐算法的開發(fā)和訓(xùn)練，為此，北匯信息為客戶提供整套的數(shù)采平臺解決方案。值得一提的是，在數(shù)采平臺搭建后，到數(shù)據(jù)的消費端之前，必須要完成數(shù)采平臺中傳感器的標定，才能夠使得數(shù)據(jù)用于感知算法的開發(fā)、數(shù)據(jù)回灌等，所以本文給大家介紹的也是在數(shù)采平臺搭建之后的傳感器標定的相關(guān)內(nèi)容。
由于多傳感器的融合能夠顯著的提高智駕系統(tǒng)的容錯性以及冗余度，保證了規(guī)控決策的快速性和準確性，已成為自動駕駛的主流趨勢。如今的自動駕駛車輛上的傳感器都包括如下：

激光雷達：測距精度、范圍及對溫度和光照的適應(yīng)性都很強，但是相對較昂貴；

攝像頭：相機對環(huán)境的細節(jié)信息的提取能力強，但是光照適應(yīng)性弱；

毫米波雷達：探測角度大，抗干擾也強，但是分辨率和精度不足；

超聲波雷達：成本低廉，但是精度較差；

GPS+IMU: GPS更新頻率低，但每次更新不存在誤差累積，IMU更新頻率高，但更新過程存在誤差累積，所以聯(lián)合互補使用。

針對這幾種傳感器，通常都需要完成它們之間的聯(lián)合標定，如lidar2cam、lidar2imu、radar2lidar、lidar2lidar、radar2cam等等，才能夠滿足算法開發(fā)的使用要求。

傳感器標定的原因

傳感器標定是自動駕駛感知系統(tǒng)中的重要環(huán)節(jié)，是后續(xù)傳感器融合的必要步驟和先決條件，其目的是將兩個或者多個傳感器變換到統(tǒng)一的時空坐標系，使得傳感器融合具有意義，是感知決策的關(guān)鍵前提。

原因一：由于傳感器的種類以及數(shù)量眾多以及位置不同，每一個傳感器都有自身的坐標系。比如，毫米波雷達通常會以天線面板中心為坐標原點，垂直坐標原點為X軸建立空間直角坐標系，而攝像頭同時也存在一個不同于雷達的坐標系，如下圖。

通常情況下，我們是在以車輛為坐標原點的空間直角坐標系下開發(fā)諸如ACC、AEB等智駕功能的，此時就需要將傳感器的目標映射到車輛坐標系下，才能夠基于數(shù)據(jù)進行感知融合規(guī)控算法的開發(fā)；

原因二：由于安裝誤差的存在，以及車輛在使用過程中的振動等，可能會導(dǎo)致傳感器的預(yù)定安裝角度和位置發(fā)生偏移，此時就需要通過標定來確定傳感器的實際位姿和坐標轉(zhuǎn)換關(guān)系，例如改制車輛在使用一段時間后可能需要重新進行標定以及汽車的售后標定等。

傳感器的標定過程
標定工作通常分為外參標定和內(nèi)參標定，內(nèi)參是決定傳感器內(nèi)部的映射關(guān)系，如攝像頭的內(nèi)參包括焦距、畸變系數(shù)等，而外參則是傳感器和外部坐標系的轉(zhuǎn)換關(guān)系，即位姿參數(shù)。1.傳感器的內(nèi)參標定

一般來說，高階智駕的傳感器的內(nèi)參通常是由各個供應(yīng)商廠家標定完成后給到用戶的，如攝像頭的焦距和畸變系數(shù)等；但是有時也會遇到出廠后需要標定的場景，也可以自己完成內(nèi)參的標定。比如激光雷達可以通過供應(yīng)商提供的軟件完成內(nèi)參的重新標定（下圖為固態(tài)激光雷達通道拼接斷層示例）。

另外，通過標定板也可以完成攝像頭的內(nèi)參標定，標定的方法如下圖：

第一步，準備一個標定板，可以是圓點標定板，也可以是棋盤格標定板；

第二步，在不同的位置和角度下拍攝多張包含標定盤的圖片，需要注意的是，標定的圖片要做到盡可能覆蓋相機的視場，并且確保在不同的位置和角度下都能看到完整的標定板。

第三步，提取標定板的特征點，并且使用圖像處理算法或者視覺庫從圖片中提取標定板的特征點。

第四步，將不同的圖像中的特征點進行匹配，確定其在三維標定系中的對應(yīng)關(guān)系。

第五步，利用已知的標定板的三維世界坐標和其在圖像中的對應(yīng)二維像素坐標，通過相機模型的數(shù)學(xué)計算，估計相機的內(nèi)參參數(shù)，包括焦距、畸變等。

第六步，通過最小化標定板特征點的重投影誤差，來優(yōu)化估計得到的內(nèi)參參數(shù)。

2.傳感器的外參標定值得一提的是，標定方法通常還分為targetless和target兩種，第一種一般可以在任意環(huán)境中進行標定，約束條件少，不需要用專門的target；第二種則需要專門的控制場，在特定的標定環(huán)境下進行，比如典型的棋盤格平面板標定間。本文基于targetless以及離線標定的方式來對外參標定進行舉例。lidar2cam的標定：

第一步，在任意的環(huán)境中錄制lidar數(shù)據(jù)和拍攝相機圖片，通常最好選擇有較明顯的垂直相交特征（如垂直于地面的電線桿）以及平整地面的環(huán)境會使得標定過程更加簡單和結(jié)果更加準確。

第二步，導(dǎo)入標定源數(shù)據(jù)后，對lidar特征點云進行提取。

第三步，通過可視化界面，手動調(diào)整lidar點云的位姿，使得其和相機的特征相匹配，自動標定則是自動提取特征點云之后進行匹配，沒有手動過程。

第四步，點云匹配之后即可得到坐標轉(zhuǎn)換關(guān)系，也即位姿矩陣[R,t]，常見的是.yaml或者.txt的文件格式，打開的內(nèi)容如下圖所示。

lidar2lidar的外參標定：
也是先錄制離線數(shù)據(jù)包，環(huán)境里面最好包含有垂直相交點云特征的物體，對點云數(shù)據(jù)進行提取，通過手動標定板調(diào)整點云姿態(tài)，匹配之后輸出位姿矩陣[R,t]。如下圖所示，左邊是沒有標定之前的點云， 右邊是標定完成之后的點云：
以下是三個激光雷達（前雷達、前左雷達、前右雷達）使用位姿矩陣將坐標轉(zhuǎn)換后效果視頻：

除了lidar2cam和lidar2lidar之外， 其他的外參標定如lidar2radar、radar2cam等標定原理基本上是相似的，所以標定的步驟基本也是類似的，這里就不一一敘述了。有了眾多傳感器的坐標轉(zhuǎn)換關(guān)系，就可以完成坐標系的統(tǒng)一，比如統(tǒng)一到車輛后軸中心，從而進行智駕功能的開發(fā)了。傳感器精度驗證標定完成之后如何進行精度的驗證呢？有如下方法可以使用：

直接測量：通過傳感器之間的位移，通過測量值來判斷標定的位移量和測量之間差別是否過大；

下游評估：通常下游在使用標定參數(shù)時能夠通過其自己的算法判斷標定是否準確，如通過測距是否準確來判斷相機內(nèi)外參是否標定準確；通過融合確定不同傳感器感知融合的誤差是否過大來判斷外參標定是否準確；通過規(guī)控判斷車輛行駛是否正常，標定參數(shù)不對導(dǎo)致的規(guī)控異常。

設(shè)計標準：有些主機廠會通過設(shè)計標定的預(yù)期效果來設(shè)計定量評估標準。比如相機畸變標定之后的 “直線特征”。又或者舉個例子，可以規(guī)定在所有的攝像頭內(nèi)參標定重投影誤差（pixel）<=1從而來定量進行判斷。比如下面兩張圖張圖展示了兩個攝像頭的標定結(jié)果報告的部分內(nèi)容，如重投影誤差以及誤差的標準差變化范圍（如[-0.000910, -0.001823]，表示在水平和垂直方向上的誤差，而后面的標準差部分 [1.044060, 0.498987] 表示這個誤差的不確定性，即誤差的變化范圍。）。

可視化判斷：許多時候都是通過可視化直接查看標定精度是否達到預(yù)期。如雷達和相機的標定可以查看圖像和點云是否對齊來進行判斷；雷達和雷達的標定可以通過看雷達和雷達之間的配準來進行判斷；相機和相機的標定可以通過看環(huán)視拼接效果進行判斷。

總結(jié)本文給大家介紹了ADAS傳感器標定的原因，描述了標定的類型以及舉例介紹了相關(guān)的標定原理或者說標定過程，最后在簡要介紹了標定精度的驗證。如果還想了解更多智駕傳感器標定的相關(guān)內(nèi)容，或者對北匯信息的智能駕駛數(shù)據(jù)閉環(huán)解決方案的其他內(nèi)容感興趣的話，歡迎聯(lián)系我們，期待您的到來。