簡單來講，它是指通過一系列算法，將車身所搭載的各類型傳感器所探測的信息有機(jī)的整合到一起，最大化整車對環(huán)境的感知能力，從而為后端的行為決策和控制等模塊提供環(huán)境信息。 單個的感知傳感器通常由于探測機(jī)理、可視角度等原因，具有一定的感知局限性，如果說各個獨(dú)立的傳感器讓汽車擁有了眼睛，那么傳感器融合技術(shù)， 將使車身看得更清，告別“近視”。

傳感器融合按照其融合的作用，一般有補(bǔ)償式融合，冗余式融合和協(xié)作式融合。

1.補(bǔ)償式融合指各個傳感器對相同的環(huán)境進(jìn)行探測，然后通過融合算法，或選取各個傳感器的優(yōu)勢探測信號，或整合各個傳感器各自的探測范圍，從而獲取更精準(zhǔn)和覆蓋范圍更廣的環(huán)境信息。以當(dāng)前主流的前視毫米波雷達(dá)和攝像頭融合（RV Fusion）方案為例：

2.冗余性融合是指各個傳感器對同一目標(biāo)進(jìn)行探測，融合算法整合所有對同一目標(biāo)的探測信息，從而提升目標(biāo)的可信度，降低單個傳感器誤檢對整體系統(tǒng)的影響。 冗余性融合廣泛應(yīng)用于與安全性相關(guān)的功能中， 比如現(xiàn)流行的自動緊急剎車（AEB）功能，如果該車具有多個傳感器，則在對目標(biāo)進(jìn)行自動制動之前，一般要求至少有兩種及以上傳感器同時檢測到該目標(biāo)，確保目標(biāo)存在性的冗余，降低該目標(biāo)是由單個傳感器誤識別的可能性，從而降低誤制動的概率（基于當(dāng)前的法律法規(guī)，這種誤制動是相當(dāng)危險(xiǎn)的，需盡力避免）。同樣以前述的雷達(dá)攝像頭方案為例，通常毫米波雷達(dá)檢測時，由于環(huán)境噪聲的干擾以及信號處理算法的局限，會不時地出現(xiàn)目標(biāo)誤識別的現(xiàn)象，一般把這種誤識別產(chǎn)生的目標(biāo)稱作鬼影（ghost）目標(biāo)，而攝像頭的探測原理使得其具有更低的誤識別率，所以在這種系統(tǒng)中，如果安全性功能要想啟動，一般要求雷達(dá)和攝像頭都同時檢測到同一目標(biāo)，從而降低誤制動率。

3.協(xié)作式融合是指整合各個傳感器的探測信息，相對來講這些探測信息都是較單一且低維度的，進(jìn)行提取出更深度和高維度的探測信息。比如，通常攝像頭探測的圖像信息丟失了環(huán)境的三維信息，如果將雷達(dá)探測的點(diǎn)云信息和圖像像素信息進(jìn)行融合，可以構(gòu)建出帶有深度信息的圖像（深度圖），那么利用這張深度圖也就可以提取出完整的三維環(huán)境信息，除了目標(biāo)感知之外，還能提供可行域（Fress Space）等更高維度的信息。當(dāng)前流行的前融合即屬于這種融合大類，目前多家智能駕駛企業(yè)正在這個方向發(fā)力，并嘗試將其運(yùn)用到量產(chǎn)項(xiàng)目中。

智慧融合感知

當(dāng)前，知行科技正著力于實(shí)現(xiàn)視覺感知與超聲波感知的融合，視覺感知對障礙物的存在性和類別判斷上有一定優(yōu)勢，只要依靠數(shù)據(jù)閉環(huán)鏈路，不斷迭代優(yōu)化視覺感知性能，就能對大部分常見的障礙物有較好的識別能力。超聲波傳感器對近距離的障礙物具有穩(wěn)定的感知能力，并且對任意類別的障礙物都能無差別探測，比如地鎖，花臺，限位桿等，廣泛應(yīng)用于泊車功能的環(huán)境感知。將視覺和超聲波對障礙物的探測進(jìn)行融合， 屬于補(bǔ)償式融合，將能夠更加穩(wěn)定魯棒地探測泊車位附近的障礙物，為泊車功能提供保障，此方案也將直接應(yīng)用于知行科技的泊車功能中。此外，即將推出的iDC域控制器，搭載有四顆環(huán)視攝像頭，知行科技也將對這四個攝像頭的感知結(jié)果進(jìn)行一個FOV層面的融合，從而提供360°的無死角感知范圍。

未來 擺脫“近視”

近年來大火的高速自動導(dǎo)航功能，要求自車具有穩(wěn)定的360°無差別的感知能力，所以多傳感器基于FOV層面的融合，以及各傳感器在FOV重疊區(qū)域的融合處理，是自動導(dǎo)航功能必不可少的方案。放眼高階自動駕駛，從前述的感知結(jié)果和融合方案可以看出，當(dāng)前階段下主流的感知結(jié)果都是基于交通參與者這一障礙物（還可能包含信號燈，錐桶等靜態(tài)障礙物）為目標(biāo)的，然而真實(shí)的交通場景是及其復(fù)雜的，交通參與者只是其中一個部分，對環(huán)境的完整勾勒無法靠目標(biāo)級別的感知融合來實(shí)現(xiàn)。

當(dāng)前，不少研究方正嘗試對各個傳感器的原始信息進(jìn)行前融合，如原生的攝像頭圖片或者像素，雷達(dá)的點(diǎn)云甚至電磁波信號等，以及盡量不丟失感知信息的情況下完成對環(huán)境的更充分表達(dá)，從而邁向高階自動駕駛，這一方案能否最終落地量產(chǎn)，還需要時間持續(xù)關(guān)注。上述的各種融合方式，沒有嚴(yán)格的界限，在一個智能駕駛系統(tǒng)中通常根據(jù)具體需求動態(tài)的選擇融合方式，且多種融合方式可能同時運(yùn)用在相同傳感器中。智能駕駛的功能逐漸邁向高階，汽車所搭載的傳感器種類及數(shù)量也大幅度增加，但單個傳感器始終擺脫不了其固有局限，是一雙“近視”的眼睛，通過不斷優(yōu)化的傳感器融合算法，讓汽車擺脫“近視”，看得更清，行得更遠(yuǎn)，更安全。