[首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛領(lǐng)域，純視覺(jué)方案一直受到不少人的認(rèn)可。雙目攝像頭由于模擬了人眼的工作方式，能夠通過(guò)視差計(jì)算還原三維信息，在距離判斷和空間感知上具有天然優(yōu)勢(shì)，因此被廣泛應(yīng)用于純視覺(jué)系統(tǒng)中。

但在實(shí)地落地時(shí)，有些廠商并未止步于雙目，而是選擇了三目攝像頭的方案。為什么有了雙目，還要選擇三目攝像頭？

雙目攝像頭怎么“看出”深度？

雖然雙目攝像頭理論上可以還原三維、判斷深度，但三目的設(shè)計(jì)能補(bǔ)足“雙目”的短板，帶來(lái)更多靈活性。

在聊三目之前，還是先看下雙目攝像頭是如何工作的。車(chē)載雙目攝像頭其實(shí)就是模仿人眼的視覺(jué)機(jī)制，通過(guò)兩個(gè)略有間距的攝像頭同時(shí)拍攝同一個(gè)場(chǎng)景，然后通過(guò)比較兩幅圖像之間的差異，算出深度信息。

與單目攝像頭只能識(shí)別形狀、顏色、或依賴(lài)學(xué)習(xí)來(lái)估算距離不同，雙目系統(tǒng)能夠直接量化物體到車(chē)輛的距離，這對(duì)于碰撞風(fēng)險(xiǎn)評(píng)估、精準(zhǔn)停車(chē)、障礙物避讓等任務(wù)非常關(guān)鍵。

相比單目視覺(jué)只看能到畫(huà)面，雙目可以讓系統(tǒng)看到世界的深度。這也就是為什么不少自動(dòng)駕駛、輔助駕駛的場(chǎng)景，會(huì)選擇雙目攝像頭而不是單目的原因。

圖片源自：網(wǎng)絡(luò)

由于雙目依賴(lài)圖像中的特征（像紋理、邊緣、對(duì)比）來(lái)匹配左右兩幅圖像中的對(duì)應(yīng)點(diǎn)。如果畫(huà)面單一、紋理很勻、或者光照差，匹配就容易失敗，對(duì)深度估計(jì)就不可靠。

雙目的深度計(jì)算也受視差大小影響，如果目標(biāo)離攝像頭很遠(yuǎn)，視差會(huì)變得非常小，小到可能低于一個(gè)像素，深度估算誤差就比較大了。

雙目系統(tǒng)還要求兩個(gè)攝像頭之間的“基線(xiàn)”（相對(duì)位置距離、對(duì)齊）必須精確，標(biāo)定和同步也不容易。

因此，盡管雙目是一個(gè)比單目更強(qiáng)、更直接的方案，但它在部分場(chǎng)景下依然表現(xiàn)不盡如人意，尤其在光照差、遠(yuǎn)近混合、遮擋／紋理不明顯的時(shí)候，會(huì)表現(xiàn)出很強(qiáng)的不適應(yīng)性。

三目／多目攝像頭為啥成趨勢(shì)？

現(xiàn)在越來(lái)越多車(chē)企使用三目攝像頭，那三目攝像頭是怎么設(shè)計(jì)的，它又解決了什么問(wèn)題？其實(shí)對(duì)于自動(dòng)駕駛來(lái)說(shuō)，“多目視覺(jué)+多攝像頭”的設(shè)計(jì)其實(shí)是為了提升系統(tǒng)對(duì)復(fù)雜環(huán)境的適應(yīng)能力。視覺(jué)感知系統(tǒng)可分為單目、雙目、以及多目（包括三目、四目、環(huán)視多攝像頭等）三種主要方案。

三目不只是再加一顆攝像頭這么簡(jiǎn)單。它往往包含一顆廣角攝像頭（視角寬、適合近距離與周邊環(huán)境監(jiān)測(cè)）、一個(gè)中視角攝像頭（覆蓋常規(guī)視野、中距離）和一個(gè)遠(yuǎn)距攝像頭（視角窄、適合遠(yuǎn)距離觀察，探測(cè)更遠(yuǎn)目標(biāo)）三種不同焦段／視野組合。

圖片源自：網(wǎng)絡(luò)

這樣一來(lái)，三目攝像頭就能在“近–中–遠(yuǎn)”不同距離上都保持較好感知，這樣既能看到近處突然出現(xiàn)的障礙、行人，也能監(jiān)測(cè)遠(yuǎn)處的車(chē)輛或路況，保證在高速、長(zhǎng)距離行駛時(shí)的安全與反應(yīng)時(shí)間。

多目攝像頭（比如三目）還能充分利用不同視角之間的信息關(guān)聯(lián)。系統(tǒng)可以通過(guò)多視角一致性來(lái)交叉驗(yàn)證目標(biāo)的存在和位置，在某一個(gè)視角因?yàn)檎趽?、反光或角度原因看不清的時(shí)候，還能從另一個(gè)攝像頭獲得更清晰的觀測(cè)結(jié)果。這種基于多視角的遮擋補(bǔ)償能力，使得自動(dòng)駕駛系統(tǒng)不再依賴(lài)單一路徑或單一視角，從而減少漏檢目標(biāo)的情況，也讓整體感知結(jié)果更加穩(wěn)定可靠。

此外，使用多攝像頭、同步采集還可以讓整個(gè)車(chē)輛感知系統(tǒng)獲得更全面、穩(wěn)定的環(huán)境認(rèn)知，對(duì)車(chē)道、障礙、行人、周邊車(chē)輛、遠(yuǎn)近物體，都有更高覆蓋率。對(duì)于自動(dòng)駕駛（尤其是中/高階自動(dòng)駕駛系統(tǒng)）來(lái)說(shuō)，這種冗余和覆蓋，是非常重要的。

三目相比雙目的幾個(gè)關(guān)鍵優(yōu)點(diǎn)

1）覆蓋距離與視場(chǎng)更全面

雙目通常有固定基線(xiàn)、固定焦距/視角，適合中距離深度估計(jì)。但如果只靠雙目，車(chē)輛在“高速遠(yuǎn)景+城市近場(chǎng)+周邊盲區(qū)”這種多變場(chǎng)景下，很難兼顧所有距離與視野。

三目通過(guò)“廣角+中焦+長(zhǎng)焦”組合，就能做到近處看清行人、橫穿車(chē)輛；中距保持對(duì)前方一般交通情況的監(jiān)控；遠(yuǎn)處提前發(fā)現(xiàn)遠(yuǎn)方車(chē)輛、物體、路況。這個(gè)組合讓感知系統(tǒng)更靈活，更適合實(shí)際駕駛中那種“遠(yuǎn)近混雜、隨時(shí)可能有變化”的情況。

2）增強(qiáng)魯棒性

真實(shí)交通環(huán)境中，路面可能是空曠的、車(chē)輛可能距離較遠(yuǎn)、物體可能遮擋，若單純靠雙目的立體匹配，會(huì)在紋理少、遠(yuǎn)距離、光照差、遮擋的情況下出問(wèn)題。

三目系統(tǒng)因?yàn)橛卸鄠€(gè)視角／焦段，就更容易應(yīng)對(duì)這些“難搞的情況”，若某一個(gè)鏡頭看不清，另一個(gè)鏡頭還能捕捉到；或者某個(gè)角度遮擋了，中焦或遠(yuǎn)焦鏡頭或廣角鏡頭可以做補(bǔ)充。這樣多條視覺(jué)路徑/視角的冗余，會(huì)讓系統(tǒng)整體更穩(wěn)。

3）提高深度估計(jì)范圍與精度彈性

雙目測(cè)距時(shí)，如果把基線(xiàn)設(shè)得很寬，可以測(cè)更遠(yuǎn)的距離，但這會(huì)犧牲近距離測(cè)距的精度。反過(guò)來(lái)，如果基線(xiàn)很窄，近距離可能測(cè)得不錯(cuò)，但遠(yuǎn)距離就不行。

而三目攝像頭可以通過(guò)多組攝像頭，對(duì)不同距離分別用合適的鏡頭／基線(xiàn)／焦距，這樣就可以同時(shí)兼顧近距離高精度+遠(yuǎn)距離長(zhǎng)探測(cè)的需求。這種靈活性，是雙目難以達(dá)到的。

4）更適合復(fù)雜場(chǎng)景

自動(dòng)駕駛對(duì)環(huán)境感知不僅要求看得清，還要求足夠冗余、可回退及容錯(cuò)。復(fù)雜天氣、光照、遮擋、潛在危險(xiǎn)，都可能導(dǎo)致某一目視覺(jué)失敗。如果只有雙目，一旦雙目失效（比如紋理太單一、太遠(yuǎn)、遮擋、眩光等），系統(tǒng)可能就漏掉障礙。

三目／多目通過(guò)視角冗余+鏡頭多樣+算法融合，可提高系統(tǒng)的整體穩(wěn)定性和可靠性，對(duì)安全至關(guān)重要。尤其是對(duì)于高級(jí)自動(dòng)駕駛（如L3/L4級(jí)別）的車(chē)輛，三目攝像頭更具優(yōu)勢(shì)。

三目攝像頭會(huì)帶來(lái)哪些問(wèn)題？

三目攝像頭，需要保證三個(gè)攝像頭之間的相對(duì)位置（基線(xiàn)、角度）、時(shí)間同步、鏡頭畸變校正等都必須非常精確。如果校準(zhǔn)或同步不好，就可能引入深度偏差或?qū)R錯(cuò)誤，這在自動(dòng)駕駛中可能是致命的問(wèn)題。

多攝像頭也意味著更多圖像數(shù)據(jù)、多視角融合、深度計(jì)算+決策融合，這要求更強(qiáng)的硬件、更復(fù)雜的算法，而且要保證實(shí)時(shí)性。

圖片源自：網(wǎng)絡(luò)

像是三目攝像頭這種多個(gè)鏡頭、不同焦段／視野的設(shè)計(jì)，對(duì)攝像頭模組、鏡頭排布、遮擋防護(hù)、調(diào)校都更為苛刻，價(jià)格也更貴。對(duì)于一些低成本車(chē)輛來(lái)說(shuō)，成本可能難以覆蓋。

因此，“三目”雖好，但不代表“鏡頭越多越好”。還是需要根據(jù)所需功能（是輔助駕駛，還是高級(jí)自動(dòng)駕駛）、成本、計(jì)算能力、可靠性等因素，做綜合權(quán)衡。

總結(jié)

回到最開(kāi)始的問(wèn)題：既然有雙目，為啥還要三目？

因?yàn)殡p目雖然能測(cè)深度、能有立體視覺(jué)，但它有盲區(qū)、有瓶頸，也容易因?yàn)榄h(huán)境／距離／紋理／標(biāo)定等問(wèn)題表現(xiàn)不穩(wěn)。三目則通過(guò)額外攝像頭、不同焦段／不同視角的設(shè)計(jì)，把這些盲區(qū)補(bǔ)上，可以讓整個(gè)視覺(jué)系統(tǒng)在復(fù)雜／真實(shí)環(huán)境下更可靠、更全面。

三目系統(tǒng)并不是簡(jiǎn)單加一個(gè)攝像頭，而是根據(jù)需求、場(chǎng)景、代價(jià)/性能權(quán)衡后的一種折中。

審核編輯 黃宇