簡(jiǎn)介

在自動(dòng)駕駛感知系統(tǒng)中，相機(jī)傳感器的應(yīng)用十分廣泛，無(wú)論是前視，側(cè)視，環(huán)視甚至車內(nèi)，相機(jī)傳感器都發(fā)揮著至關(guān)重要的作用，目前帶有ADAS和自動(dòng)駕駛功能的汽車，大多配備七八個(gè)甚至十幾個(gè)相機(jī)傳感器。

相機(jī)作為車載核心傳感器，優(yōu)點(diǎn)十分明顯。首先，相機(jī)傳感器技術(shù)成熟，價(jià)格便宜，尤其是相較于市面上動(dòng)輒上萬(wàn)的激光傳感器，以相機(jī)傳感器作為主感知的方案更利于自動(dòng)駕駛汽車的量產(chǎn)。其次，相機(jī)采集的圖像包含物體色彩，輪廓等信息，這些是激光傳感器，毫米波傳感器無(wú)法輸出的，在識(shí)別交通標(biāo)識(shí)，紅綠燈，車道線等方面具有獨(dú)一無(wú)二的優(yōu)勢(shì)。

在Sim Pro自動(dòng)駕駛仿真軟件中，結(jié)合基于物理的渲染方法，可以在配置相機(jī)各種參數(shù)的前提下進(jìn)行相機(jī)傳感器輸出圖像的仿真。其中的一大難題是相機(jī)的鏡頭種類繁多，比如廣角相機(jī)，魚眼相機(jī)等，它們的鏡頭被設(shè)計(jì)成可以折射入射光，以得到比針孔相機(jī)更廣的視野，這會(huì)讓最終的成像產(chǎn)生畸變效果。本文主要介紹Sim Pro里相機(jī)傳感器物理建模中的畸變?cè)O(shè)計(jì)。

相機(jī)傳感器模型

相機(jī)傳感器模型主要設(shè)計(jì)為兩個(gè)部分，其一是每個(gè)像素的RGB顏色處理模塊，考慮到相機(jī)成像原理中的光電轉(zhuǎn)換過(guò)程，可以利用輸入?yún)?shù)中的曝光時(shí)間，鏡頭透過(guò)率等參數(shù)控制所有像素上的信息。為了體現(xiàn)部分相機(jī)可能出現(xiàn)的噪點(diǎn)效果，還可以設(shè)置暗電流噪聲，為了體現(xiàn)過(guò)曝和避免色彩丟失，采用了HDR高動(dòng)態(tài)范圍的渲染數(shù)據(jù)輸入。

除了對(duì)像素顏色信息的處理以外，另一部分為畸變效果仿真模塊，需要設(shè)計(jì)所有像素對(duì)應(yīng)的光線射入向量，由于不同鏡頭的折射效果，導(dǎo)致傳到每個(gè)像素的光線并不是沿像素直接射出的（如圖1），將相機(jī)傳感器近似為空間中的一個(gè)點(diǎn)，此時(shí)每個(gè)像素上光線射入的方向可以用一個(gè)三維向量來(lái)表示，從而構(gòu)成畸變表。

圖1：左為針孔相機(jī)的光線射入方向簡(jiǎn)化圖，右為廣角相機(jī)的光線射入方向簡(jiǎn)化圖

目前有很多畸變建模使用的是畸變參數(shù)k1，k2表示的畸變公式：

其中(x,y)表示畸變后輸出圖像坐標(biāo)，(x ?,y ?)表示無(wú)畸變?cè)紙D像坐標(biāo)，o表示畸變中心，公式表示距離畸變中心越遠(yuǎn)，產(chǎn)生的畸變?cè)酱螅胀ǖ恼硇?，筒形畸變都可以通過(guò)該函數(shù)產(chǎn)生。但是，這個(gè)參數(shù)需要配合成像大小才可以正確生效，例如相同的圖像，由于像素大小的變化導(dǎo)致與畸變中心之間的距離變化，用相同參數(shù)會(huì)導(dǎo)致畸變效果不同，因此標(biāo)定這個(gè)參數(shù)還需要確定像素大小等信息，使用起來(lái)比較繁瑣。

此外，使用k1，k2參數(shù)的前提是必須先獲取沒(méi)有畸變的原圖像，并且必須比輸出圖像擁有更大的視場(chǎng)角，但是考慮到魚眼相機(jī)的觀測(cè)角度可能接近甚至超過(guò)180度，此時(shí)成像需要的無(wú)畸變圖像不能顯示在一張平面圖上導(dǎo)致無(wú)法使用畸變公式去生成畸變。

Sim Pro采用天空盒的原圖輸入格式，360度無(wú)死角儲(chǔ)存環(huán)境信息，針對(duì)畸變表或者畸變參數(shù)的輸入都可以做到完美的畸變效果。

畸變模型

像素向量建模：使用畸變參數(shù)的建模前提是獲取到無(wú)畸變的平面圖片數(shù)據(jù)，這對(duì)于一般廣角相機(jī)來(lái)說(shuō)是可以實(shí)現(xiàn)的，但是對(duì)于魚眼相機(jī)，如果要獲取到無(wú)畸變的平面圖像，該平面大小會(huì)趨近于無(wú)窮大，此時(shí)不能再通過(guò)一張無(wú)畸變的圖像去產(chǎn)生畸變。此時(shí)通常使用像素向量的數(shù)據(jù)，即事先通過(guò)測(cè)量標(biāo)定等方法，確認(rèn)圖像上每個(gè)像素點(diǎn)的信息是從哪個(gè)方向射入的，獲取該數(shù)據(jù)后，只需要去像素點(diǎn)對(duì)應(yīng)向量上去采集數(shù)據(jù)即可。對(duì)于畸變明顯，視場(chǎng)角非常大的魚眼相機(jī)，通常使用以傳感器為中心的天空盒的數(shù)據(jù)來(lái)構(gòu)造畸變，構(gòu)造出每個(gè)像素點(diǎn)向量到天空盒位置的映射關(guān)系，從而達(dá)到在天空盒上獲取數(shù)據(jù)的目的，由于天空盒包含了傳感器可觀察范圍的全信息，因此這種方法可以適用于任何超大視場(chǎng)角的廣角相機(jī)，魚眼相機(jī)建模。

首先，在仿真場(chǎng)景中獲取所有方向的天空盒數(shù)據(jù)，這個(gè)數(shù)據(jù)可以通過(guò)設(shè)置水平，垂直視場(chǎng)角為90度的6個(gè)方向獲取的圖片數(shù)據(jù)拼接而來(lái)（如圖2），其中以傳感器朝向作為正前方，對(duì)于這一步獲取的圖片，盡量獲取更高的分辨率的圖片，對(duì)于視場(chǎng)角不超過(guò)270度的魚眼相機(jī)，也可以只采用前上下左右5個(gè)面的數(shù)據(jù)以節(jié)約渲染成本。

對(duì)于畸變表中每個(gè)像素對(duì)應(yīng)的向量，通過(guò)簡(jiǎn)單的三角形原理，可以知道從包圍盒正方體的中心出發(fā)，該向量所對(duì)應(yīng)的天空盒上的像素位置，將該像素點(diǎn)的顏色信息傳入輸出圖像對(duì)應(yīng)像素上（如圖3）。

畸變參數(shù)的統(tǒng)一處理

由于使用畸變表的方法也可以應(yīng)用于普通的廣角相機(jī)，針對(duì)k1，k2畸變參數(shù)輸入的情況，Sim Pro將畸變參數(shù)轉(zhuǎn)化為畸變表之后，再進(jìn)行上一章節(jié)中介紹的畸變運(yùn)算，使得仿真中的畸變效果同時(shí)適用于畸變表與畸變參數(shù)兩種不同的輸入。

在確定像素大小以及畸變中心o（通常是圖像幾何中心）后，推算每個(gè)像素點(diǎn)坐標(biāo)(x,y)所對(duì)應(yīng)的無(wú)畸變?cè)紙D像中的像素點(diǎn)坐標(biāo)(x ?,y ?),

考慮到相機(jī)焦距f,構(gòu)成一個(gè)三維向量 (f,x ?,y ?),歸一化后作（x,y）為的向量信息存儲(chǔ)為畸變表。

總結(jié)

魚眼相機(jī)，廣角相機(jī)在自動(dòng)駕駛汽車的感知系統(tǒng)中扮演著重要的角色，尤其是魚眼相機(jī)的超大探測(cè)范圍，廣泛應(yīng)用于汽車環(huán)視感知系統(tǒng)中。魚眼相機(jī)輸出的帶有畸變的環(huán)視圖，通過(guò)各款相機(jī)對(duì)應(yīng)的去畸變算法，可以形成近距離的俯視圖，應(yīng)用于自動(dòng)泊車，交通堵塞輔助等領(lǐng)域，Sim Pro相機(jī)傳感器能夠生成帶有準(zhǔn)確畸變的圖像，有助于在仿真端驗(yàn)證不同種類相機(jī)的去畸變算法與感知效果。