自動(dòng)駕駛正成為影響未來(lái)行業(yè)的關(guān)鍵技術(shù)，車(chē)載傳感器是自動(dòng)駕駛系統(tǒng)中感知外部世界的關(guān)鍵，它們就像車(chē)輛的“眼耳口鼻”，幫助車(chē)輛感知外部世界，聽(tīng)覺(jué)視覺(jué)等缺一不可，這幾種感知的協(xié)作性能也直接決定自動(dòng)駕駛車(chē)輛的安全性。

今天我們就來(lái)一起聊聊，自動(dòng)駕駛中的“眼耳口鼻”共用——多傳感器融合是怎么一回事。

常見(jiàn)的車(chē)載傳感器有哪些？

目前業(yè)界主要使用三種傳感器，包括攝像頭、激光雷達(dá)、毫米波雷達(dá)。各種傳感器各有優(yōu)缺點(diǎn)，因此在自動(dòng)駕駛系統(tǒng)中通常有不同的任務(wù)劃分。

攝像頭可以獲取光學(xué)圖像，并從一定角度準(zhǔn)確記錄物體的顏色、紋理、色彩分布等信息。因此，一些研究使用攝像頭完成目標(biāo)識(shí)別和目標(biāo)跟蹤任務(wù)，包括道路檢測(cè)、行人和車(chē)輛識(shí)別以及局部路徑規(guī)劃。為了克服攝像頭可測(cè)量角度范圍窄的問(wèn)題，在實(shí)際應(yīng)用中，自動(dòng)駕駛系統(tǒng)通常采用多臺(tái)攝像頭對(duì)周?chē)h(huán)境進(jìn)行全方位監(jiān)控。

毫米波雷達(dá)通過(guò)脈沖壓縮測(cè)量物體的距離，并通過(guò)多普勒頻移測(cè)量物體的速度，這在障礙物檢測(cè)、行人識(shí)別和車(chē)輛識(shí)別中有廣泛的應(yīng)用。

激光雷達(dá)的主要應(yīng)用包括定位、障礙物檢測(cè)和環(huán)境重建。由于三維（3D）數(shù)據(jù)與二維數(shù)據(jù)相比具有一定的信息表示優(yōu)勢(shì)，它可以最大限度地恢復(fù)真實(shí)環(huán)境中的交通條件。結(jié)合毫米波雷達(dá)目標(biāo)的動(dòng)態(tài)特性、激光雷達(dá)的變化優(yōu)勢(shì)以及光學(xué)圖像中目標(biāo)的細(xì)節(jié)，利用綜合信息有助于車(chē)輛執(zhí)行各種任務(wù)，如意圖分析、運(yùn)動(dòng)規(guī)劃和自動(dòng)駕駛。

為什么一定要多傳感器融合呢？

使用多傳感器融合技術(shù)的主要原因是為了揚(yáng)長(zhǎng)避短、冗余設(shè)計(jì)，提高整車(chē)安全系數(shù)。多傳感器融合系統(tǒng)所實(shí)現(xiàn)的功能要遠(yuǎn)超這些獨(dú)立系統(tǒng)能夠?qū)崿F(xiàn)的功能總和，相當(dāng)于1+1>2。使用不同的傳感器種類可以在某一種傳感器全都出現(xiàn)故障的環(huán)境條件下，額外提供一定冗余度。這種錯(cuò)誤或故障可能是由自然原因（例如，濃霧天氣）或是人為現(xiàn)象（例如，對(duì)攝像頭或雷達(dá)的電子干擾或人為干擾）導(dǎo)致。各傳感器優(yōu)缺點(diǎn)如下：

多傳感器融合的挑戰(zhàn)

目前市面上大多數(shù)自動(dòng)駕駛的方案均包含攝像頭、激光雷達(dá)和毫米波雷達(dá)，使用同一個(gè)系統(tǒng)來(lái)采集并處理數(shù)據(jù)，我們需要對(duì)這些傳感器統(tǒng)一坐標(biāo)系和時(shí)鐘，目的就是為了實(shí)現(xiàn)三同一不同：即在同一時(shí)刻，同一地理坐標(biāo)，同一目標(biāo)出現(xiàn)在不同類別的傳感器中。

想必看到這里，聰明的你能意識(shí)到，這也不是一件容易的事情，想要達(dá)到三同一不同，就要克服不少挑戰(zhàn)。

挑戰(zhàn)1：統(tǒng)一時(shí)鐘

在這里要做的就是同步不同傳感器的時(shí)間戳，本次我們主要介紹兩種方法。

GPS時(shí)間戳的時(shí)間同步方法：該種方法中，傳感器硬件需支持GPS時(shí)間戳，如果支持，則傳感器輸出的數(shù)據(jù)包會(huì)有全局的時(shí)間戳，這些時(shí)間戳以GPS為基準(zhǔn)，那么就相當(dāng)于不同的傳感器均以GPS為基準(zhǔn)，等同于使用了相同的時(shí)鐘，而非傳感器各自的時(shí)鐘了。

另外一種方法叫硬同步方法：這種方法可以減小查找時(shí)間戳造成的誤差。該方法可以以激光雷達(dá)作為觸發(fā)源，輸出給其它傳感器，當(dāng)激光雷達(dá)轉(zhuǎn)到某個(gè)角度時(shí)，才觸發(fā)該角度的攝像頭，這可以大大減少時(shí)間差的問(wèn)題。這套時(shí)間同步方案可以做到硬件中，這樣可以大大降低同步誤差，提高數(shù)據(jù)同步效果。

挑戰(zhàn)2：統(tǒng)一坐標(biāo)系

統(tǒng)一坐標(biāo)系有兩步，一是運(yùn)動(dòng)補(bǔ)償，二是傳感器標(biāo)定。由于所有的傳感器都裝在車(chē)上，車(chē)是運(yùn)動(dòng)的剛體。因此傳感器在采集數(shù)據(jù)時(shí)，周期開(kāi)始的時(shí)間點(diǎn)和結(jié)束時(shí)間點(diǎn)車(chē)輛是處于不同位置的，導(dǎo)致不同時(shí)刻采集的數(shù)據(jù)所處坐標(biāo)系不同，因此需要根據(jù)車(chē)體的運(yùn)動(dòng)對(duì)傳感器采集的數(shù)據(jù)進(jìn)行運(yùn)動(dòng)補(bǔ)償。

傳感器標(biāo)定分為內(nèi)參標(biāo)定和外參標(biāo)定，內(nèi)參標(biāo)定，解決的是單獨(dú)的每個(gè)傳感器與世界坐標(biāo)系間的變換；外參標(biāo)定是在世界坐標(biāo)系下，解決的不同傳感器間的變換。傳感器外參校準(zhǔn)依賴于傳感器的精確內(nèi)參校準(zhǔn)。

挑戰(zhàn)3：融合方法

經(jīng)過(guò)以上幾步，可以拿到的信息有：做好運(yùn)動(dòng)補(bǔ)償及時(shí)間同步的傳感器源數(shù)據(jù)、傳感器內(nèi)參、傳感器外參，有了這些信息后，我們可以做相應(yīng)的融合方法了。到底如何做呢？下面舉兩個(gè)例子：

攝像頭和激光雷達(dá)融合：激光雷達(dá)數(shù)據(jù)是包含了明確的(x，y，z)數(shù)據(jù)的3D觀測(cè)，通過(guò)標(biāo)定參數(shù)與攝像頭本身的內(nèi)參，多傳感器深度融合可以實(shí)現(xiàn)把3D點(diǎn)投到圖像上，圖像上的某些像素也就打上了深度信息，幫助感知系統(tǒng)進(jìn)行基于圖像的分割或者訓(xùn)練深度學(xué)習(xí)模型。

毫米波雷達(dá)和激光雷達(dá)融合：毫米波雷達(dá)和激光雷達(dá)的融合方式比較簡(jiǎn)單。在笛卡爾坐標(biāo)系下，它們擁有完整的( x，y )方向的信息。因此在笛卡爾坐標(biāo)系下，激光雷達(dá)和毫米波雷達(dá)可以實(shí)現(xiàn)基于距離的融合。另外，毫米波雷達(dá)還可以探測(cè)到障礙物速度，而激光雷達(dá)通過(guò)位置的追蹤，也會(huì)得到對(duì)障礙物速度的估計(jì)，對(duì)這些速度的信息進(jìn)行融合，更能幫助篩選錯(cuò)誤的匹配候選集。

從目前國(guó)內(nèi)對(duì)于自動(dòng)駕駛的策略來(lái)看，多種傳感器提高安全冗余是普遍采用的路線。那對(duì)于多傳感器融合的硬件在環(huán)測(cè)試也是必要的一環(huán)。

講了這么多，你對(duì)多傳感器融合是否有了一些了解呢？針對(duì)這樣的自動(dòng)駕駛趨勢(shì)，是德科技也在全面布局，不僅針對(duì)單個(gè)雷達(dá)有測(cè)試解決方案，對(duì)雷達(dá)場(chǎng)景模擬以及多傳感器融合方向也在推陳出新，推出ADE(Autonomous Driving Emulation)解決方案以及發(fā)布不久的雷達(dá)場(chǎng)景模擬器。