目前，汽車(chē)已經(jīng)成為人們?nèi)粘３鲂惺褂米疃嗟慕煌üぞ?。為了保證司乘人員和行人的安全，輔助駕駛和自動(dòng)駕駛越來(lái)越成為汽車(chē)的標(biāo)準(zhǔn)配置。從L1級(jí)別的ADAS應(yīng)用FCW(前向碰撞預(yù)警)、LDW(車(chē)道偏離預(yù)警)、L2級(jí)別的 AEB(自動(dòng)緊急制動(dòng))、LKA(車(chē)道保持輔助)、到更高級(jí)別的ACC(自適應(yīng)巡航)、AVP(代客泊車(chē)系統(tǒng))等等， 輔助駕駛/自動(dòng)駕駛在汽車(chē)電子系統(tǒng)中有著越來(lái)越大比例的應(yīng)用。為了實(shí)現(xiàn)性能更強(qiáng)、穩(wěn)定性更高和準(zhǔn)確性更高的輔助駕駛、自動(dòng)駕駛，汽車(chē)需要獲知本身的位置信息和周邊的環(huán)境信息，不同種類(lèi)的傳感器，如視覺(jué)傳感器、激光傳感器(LiDAR)、毫米波傳感器(RADAR)等，在不同的工作環(huán)境下各有優(yōu)缺點(diǎn)，而融合來(lái)自多個(gè)傳感器數(shù)據(jù)的過(guò)程。可以提供更高的可靠性、冗余性以及最終的安全性。賽靈思作為可編程器件的領(lǐng)導(dǎo)品牌，在汽車(chē)電子系統(tǒng)，尤其在傳感器融合方面提供了全面的方案。且待本文向您徐徐道來(lái)。

1. 融合! 融合起來(lái)!

隨著輔助駕駛/自動(dòng)駕駛的等級(jí)逐步提高，對(duì)傳感器種類(lèi)和數(shù)量的要求會(huì)逐步增加。L1級(jí)別需求(如FCW(前向碰撞預(yù)警)、LDW(車(chē)道偏離預(yù)警)) 主要由單個(gè)傳感器，如單個(gè)視覺(jué)攝像頭、單個(gè)毫米波或攝像頭加毫米波的組合來(lái)實(shí)現(xiàn)相關(guān)預(yù)警功能:

L2級(jí)別需求(AEB(自動(dòng)緊急制動(dòng))、LKA(車(chē)道保持輔助)) ，因?yàn)樾枰獙?duì)車(chē)身部分(如底盤(pán)的剎車(chē)控制系統(tǒng)) 進(jìn)行直接控制，需要兩個(gè)或以上不同的傳感器來(lái)互相校驗(yàn)，確保在各種環(huán)境下不錯(cuò)過(guò)必須處理的信息，并加強(qiáng)冗余度，一般會(huì)有多個(gè)視覺(jué)攝像頭(比如由4個(gè)攝像頭組成360環(huán)視系統(tǒng)，加上一個(gè)單獨(dú)用于前向預(yù)警的攝像頭，共計(jì)5個(gè)攝像頭的系統(tǒng))、一個(gè)或若干毫米波及其他傳感器完成輔助駕駛功能：

對(duì)于L3來(lái)講，由于高級(jí)別半自動(dòng)駕駛(如代客泊車(chē)AVP)需要對(duì)地圖進(jìn)行構(gòu)建，并進(jìn)行基于地圖的路徑規(guī)劃，通常需要引入激光雷達(dá)(為解決盲區(qū)，還需要布置高低位置的多個(gè)激光雷達(dá))，視覺(jué)、毫米波和激光雷達(dá)的數(shù)量總數(shù)基本會(huì)超過(guò)10個(gè):

隨著高級(jí)輔助駕駛需要更多傳感器種類(lèi)與數(shù)量，如何將這些信號(hào)歸一化為主控SoC需要的數(shù)據(jù)，也就是傳感器數(shù)據(jù)歸一化(normalization)的需求如何實(shí)現(xiàn)呢?這就是我們提及的傳感器融合的需求了：

那么傳感器數(shù)據(jù)數(shù)據(jù)歸一化，具體來(lái)說(shuō)要如何進(jìn)行呢?我們由下圖來(lái)解釋一下：

將多個(gè)傳感器數(shù)據(jù)的負(fù)載(Payload)， 統(tǒng)一打包為包含報(bào)文種類(lèi)、時(shí)間戳(Time Stamp)、其他包頭信息和負(fù)載的數(shù)據(jù)包，傳送至主控芯片，就是傳感器融合的信息了。

我們來(lái)總結(jié)一下傳感器融合的作用：

A 獲取車(chē)輛環(huán)境信息;

B 獲得更精確的結(jié)果;

--均衡不同傳感器的權(quán)重

--針對(duì)傳感器失效的魯棒性

--各傳感器取長(zhǎng)補(bǔ)短

C 主要任務(wù)

--定位

--地圖繪制

--路徑規(guī)劃

2. 當(dāng)融合時(shí)且融合

當(dāng)我們意識(shí)到傳感器融合的優(yōu)勢(shì)時(shí)，就會(huì)發(fā)現(xiàn)FPGA在傳感器融合上的優(yōu)勢(shì)：

--FPGA的IO Pin可以靈活配置，適合不同的傳感器接口

--FPGA的邏輯可以靈活設(shè)計(jì)，針對(duì)不同型號(hào)的傳感器做出針對(duì)性的設(shè)計(jì)。

而傳感器融合的基石，就是如何進(jìn)行數(shù)據(jù)同步!

如果不進(jìn)行同步的話(huà)，假設(shè)有一個(gè)目標(biāo)高速經(jīng)過(guò)車(chē)輛前部，如果各傳感器不同步，不同的傳感器會(huì)給出不同的目標(biāo)方位和相對(duì)距離信息，會(huì)令處理系統(tǒng)很難做出正確響應(yīng)：

但如果進(jìn)行了同步，所有觀(guān)感器信息反饋的信息都是基于同一時(shí)間點(diǎn)，針對(duì)同一個(gè)目標(biāo)反饋的目標(biāo)速度、相對(duì)距離、角度等信息也不會(huì)產(chǎn)生混淆：

針對(duì)上述的同步，具體方式如下:

1. 硬件同步 / Hardware synchronization

--使用同步觸發(fā)(trigger acquisition， FPGA的強(qiáng)項(xiàng)之一哦!)

--所有傳感器使用同一個(gè)硬件給出的時(shí)鐘源(FPGA的IO資源非常適合做配置!).

2. 軟件同步 / Software synchronization

--使用時(shí)間戳(timestamp ) 同步

--每個(gè)傳感器自行加入校正后的時(shí)間戳

3. 空間同步 / Spatial synchronization

將各傳感器坐標(biāo)系統(tǒng)歸一化為統(tǒng)一系統(tǒng)(對(duì)坐標(biāo)系轉(zhuǎn)換的硬件加速也是FPGA的強(qiáng)項(xiàng)!)

4. 時(shí)空同步 / Spatiotemporal synchronization

--以上所有同步的綜合

下面也給出一些使用FPGA進(jìn)行同步的技術(shù)技巧：

1. 統(tǒng)一的的坐標(biāo)系與時(shí)鐘;

2. 使用GPS提供時(shí)間戳的時(shí)鐘同步與校準(zhǔn);

3. 一般使用激光雷達(dá)提供Trigger , 作為數(shù)據(jù)對(duì)齊基礎(chǔ);

--這是自動(dòng)駕駛技術(shù)的歷史傳承，基于ROS / ROS2 的 Autoware， Baidu的Apollo及其他開(kāi)源版本都是如此。

4. 傳感器相互之間進(jìn)行校正 ( Sensorcalibration );

同步后數(shù)據(jù)，如何通過(guò)網(wǎng)絡(luò)在車(chē)內(nèi)網(wǎng)絡(luò)傳輸，也是傳感器融合的重要功能，而TSN (時(shí)鐘同步網(wǎng)絡(luò)) 更是會(huì)助力融合更好地進(jìn)行!

基于802.1 AS的TSN我們?cè)谥暗奈恼轮幸呀?jīng)有介紹，如有您有在賽靈思器件上實(shí)現(xiàn)TSN的需求，也請(qǐng)聯(lián)系科通，我們?yōu)槟峁┳稍?xún)和支持。

3. 如何十分安全地融合?

既然傳感器融合主要用于汽車(chē)應(yīng)用，功能安全就變得非常重要!針對(duì)功能安全的需求，作為可編程器件領(lǐng)先品牌，賽靈思針對(duì)各行業(yè)的安全需求，提供了由原廠(chǎng)或第三方提供的服務(wù):

其中和汽車(chē)相關(guān)的 IEC-61508和 ISO-26262認(rèn)證，賽靈思都提供原廠(chǎng)直接支持的文檔、工具和服務(wù)。

當(dāng)然還有經(jīng)過(guò)車(chē)規(guī)驗(yàn)證的各型號(hào)SOC/FPGA、IP、工具鏈和參考設(shè)計(jì)開(kāi)發(fā)板，如果您有需求，都?xì)g迎聯(lián)系科通哦!

4. 有科通，融合更方便

針對(duì)車(chē)規(guī)需求，我們集成科通代理的相關(guān)產(chǎn)線(xiàn)，為您提供整體方案。下圖也只是其中一部分哦!

原文標(biāo)題：基于賽靈思的傳感器融合方案

文章出處：【微信公眾號(hào)：Comtech科通】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅