[首發(fā)于智駕最前沿微信公眾號(hào)]想要讓車(chē)輛知道前方有什么、距離多遠(yuǎn)、是否可以靠近，首先要做的是讓其“看”清楚環(huán)境。在眾多車(chē)載感知硬件中，與人類(lèi)看到世界最類(lèi)似的一個(gè)感知硬件便是車(chē)載雙目攝像頭了。

圖片源自：網(wǎng)絡(luò)

車(chē)載雙目攝像頭（也稱立體視覺(jué)攝像頭，Stereo Camera）模仿人眼的視覺(jué)機(jī)制，通過(guò)兩個(gè)略有間距的攝像頭同時(shí)拍攝同一場(chǎng)景，比較兩幅圖像之間的差異，從而計(jì)算出深度信息。

與單目攝像頭只能識(shí)別形狀、顏色，或依賴學(xué)習(xí)來(lái)估算距離不同，雙目系統(tǒng)能夠直接量化物體到車(chē)輛的距離，這對(duì)于碰撞風(fēng)險(xiǎn)評(píng)估、精準(zhǔn)停車(chē)、障礙物避讓等任務(wù)至關(guān)重要。

基本原理，用兩張圖還原三維信息

簡(jiǎn)單理解車(chē)載雙目攝像頭，就是將兩個(gè)攝像頭并排安裝，朝向前方，它們之間有一個(gè)固定的橫向距離，稱為“基線（baseline）”。同一個(gè)物體在左圖和右圖中的成像位置通常會(huì)有差異，這個(gè)水平方向的位置差異稱為“視差（disparity）”。對(duì)左右圖像進(jìn)行幾何校正后，可以把匹配點(diǎn)限制在同一水平線上進(jìn)行搜索，視差就是像素在水平方向上的偏移量。

圖片源自：網(wǎng)絡(luò)

根據(jù)成像模型，物體的真實(shí)距離Z與相機(jī)焦距f、基線B和視差d之間滿足一個(gè)簡(jiǎn)單的關(guān)系：Z = f × B / d。也就是說(shuō)，視差越大，物體越近；視差越小，物體越遠(yuǎn)。想要讓車(chē)載雙目攝像頭符合這一公式，必須讓攝像頭經(jīng)過(guò)內(nèi)參（如焦距、畸變系數(shù)）和外參（兩個(gè)攝像頭之間的位置關(guān)系）的精確標(biāo)定，標(biāo)定的精度將直接決定深度估計(jì)的準(zhǔn)確性。

車(chē)載雙目攝像頭拍攝只是兩張圖片，并不包含深度信息，如果想通過(guò)這兩張圖片信息計(jì)算出深度，需要經(jīng)過(guò)一系列的操作。首先是要將攝像頭進(jìn)行標(biāo)定，獲取內(nèi)外參數(shù)，并進(jìn)行圖像畸變校正與極線校正，使左右圖像的對(duì)應(yīng)點(diǎn)基本位于同一水平線上，從而降低匹配的復(fù)雜度。接著就是要進(jìn)行立體匹配，即為左圖中的每一個(gè)像素，在右圖中找到最可能的對(duì)應(yīng)像素，這是整個(gè)流程中最關(guān)鍵的一步。傳統(tǒng)的方法有基于塊匹配、基于代價(jià)聚合的半全局匹配等；但近年來(lái)，隨著深度學(xué)習(xí)方法逐漸流行，通過(guò)端到端的代價(jià)構(gòu)建、聚合與回歸，能夠進(jìn)行更準(zhǔn)確、更魯棒的視差估計(jì)。最后要做的就是將視差轉(zhuǎn)換為真實(shí)深度，并配合置信度估計(jì)與后處理（如孔洞填充、平滑濾波），輸出能有效提升下游任務(wù)效果的深度圖。。

算法與實(shí)現(xiàn)，從傳統(tǒng)方法到深度學(xué)習(xí)

早期的立體視覺(jué)算法更關(guān)注如何準(zhǔn)確定義像素之間的匹配代價(jià)，以及如何將局部匹配結(jié)果優(yōu)化成一張全局一致的視差圖。在進(jìn)行像素級(jí)匹配時(shí)，常用的代價(jià)函數(shù)有顏色差異、SAD（絕對(duì)差和）、SSD（平方差和），以及對(duì)于光照變化更具魯棒性的Census變換等方法。得到初步的匹配代價(jià)后，還需經(jīng)過(guò)代價(jià)聚合與優(yōu)化步驟，以抑制噪聲和錯(cuò)誤匹配。其中，半全局匹配（SGM）通過(guò)沿多個(gè)路徑聚合代價(jià)，在效率和精度之間取得了出色平衡，因此成為車(chē)載系統(tǒng)中廣泛采用的經(jīng)典算法。

近年來(lái)，隨著計(jì)算能力的顯著提升，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的立體匹配方法迅速發(fā)展。這類(lèi)方法利用神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)更魯棒、更高級(jí)的匹配特征，通過(guò)構(gòu)建三維代價(jià)體進(jìn)行精細(xì)的匹配比較，最終通過(guò)回歸或軟分類(lèi)方法直接輸出視差圖。深度學(xué)習(xí)方法在弱紋理、重復(fù)紋理和劇烈光照變化等傳統(tǒng)算法難以處理的場(chǎng)景下，能表現(xiàn)出更強(qiáng)的穩(wěn)健性。然而，其性能也高度依賴訓(xùn)練數(shù)據(jù)的多樣性和完備性，以及對(duì)邊緣場(chǎng)景的泛化能力。

在實(shí)際的項(xiàng)目中，立體視覺(jué)會(huì)被整合到更大的感知鏈路中。單幀視差圖容易受噪聲影響，因此會(huì)使用時(shí)序?yàn)V波或多視圖融合技術(shù)，結(jié)合來(lái)自IMU或里程計(jì)的位姿信息，將相鄰幀的深度信息對(duì)齊融合，從而提高遠(yuǎn)處目標(biāo)和弱紋理區(qū)域的可靠性。此外，雙目系統(tǒng)還會(huì)與語(yǔ)義分割或目標(biāo)檢測(cè)模塊聯(lián)動(dòng)，一旦檢測(cè)到行人或車(chē)輛，可以在這些區(qū)域內(nèi)進(jìn)行更精細(xì)的匹配與置信度評(píng)估，從而實(shí)現(xiàn)語(yǔ)義信息與幾何信息的相互校驗(yàn)，減少誤檢與漏檢的情況發(fā)生。

為什么車(chē)廠和Tier-1青睞雙目攝像頭

雙目攝像頭相比其他傳感器具備幾項(xiàng)明顯優(yōu)勢(shì)，使其在自動(dòng)駕駛系統(tǒng)中始終占有一席之地。它采用被動(dòng)成像，不像激光雷達(dá)或毫米波雷達(dá)那樣主動(dòng)發(fā)射能量，沒(méi)有電磁輻射問(wèn)題，在法律合規(guī)、隱私保護(hù)、能耗和成本方面更容易被大眾接受。

它的語(yǔ)義信息也更加豐富，攝像頭直接輸出高分辨率的彩色圖像，對(duì)識(shí)別車(chē)道線、交通標(biāo)志、信號(hào)燈、路面紋理和行人外觀等具有天然優(yōu)勢(shì)，這些信息對(duì)語(yǔ)義理解和行為預(yù)測(cè)至關(guān)重要

雙目系統(tǒng)還具備高橫向分辨率，能夠清晰捕捉像是車(chē)道線、路緣、人行道邊界等細(xì)微結(jié)構(gòu)，這是很多測(cè)距型傳感器難以替代的。

雙目攝像頭相比高精度的固態(tài)或機(jī)械式激光雷達(dá)更是低廉得多，更適合大規(guī)模量產(chǎn)車(chē)型的傳感器配置。此外，它體積小、功耗低，特別適用于短距離感知、泊車(chē)輔助、低速城市路況，或作為其他昂貴傳感器的有效補(bǔ)充。

雙目系統(tǒng)生成的密集深度圖（而非稀疏點(diǎn)云）也更適合某些算法需求，雙目系統(tǒng)作為視覺(jué)子系統(tǒng)的一部分，更能與單目視覺(jué)、雷達(dá)、激光雷達(dá)等形成互補(bǔ)，提升整體感知的魯棒性。

車(chē)載雙目攝像頭有哪些問(wèn)題

即便車(chē)載雙目攝像頭的優(yōu)勢(shì)非常明顯，但其也有很多攝像頭存在的固有的問(wèn)題。它對(duì)環(huán)境條件非常敏感，像是在弱光、夜間、逆光、雨雪霧等天氣下，會(huì)顯著降低匹配質(zhì)量，導(dǎo)致視差圖噪聲增加或出現(xiàn)大范圍低置信度區(qū)域。與激光雷達(dá)不同，攝像頭也無(wú)法穿透雨霧，因此在極端天氣下僅靠雙目難以保證安全。

在面對(duì)缺乏紋理或重復(fù)紋理的區(qū)域（如白墻、單色車(chē)身），立體匹配容易出錯(cuò)甚至無(wú)法找到對(duì)應(yīng)點(diǎn)。對(duì)于反光或半透明物體（如積水、玻璃窗），攝像頭更可能產(chǎn)生虛假幾何信息，導(dǎo)致深度估計(jì)錯(cuò)誤。

雙目的有效距離也受攝像頭分辨率和基線設(shè)計(jì)的限制。對(duì)于遠(yuǎn)處的小目標(biāo)（如高速路上數(shù)十米外的小障礙物），視差可能小于一個(gè)像素，這會(huì)導(dǎo)致誤差被放大。

由于雙目攝像頭左右視角不同，某些區(qū)域在一側(cè)攝像頭中可見(jiàn)，在另一側(cè)卻不可見(jiàn)，這會(huì)導(dǎo)致視差缺失或匹配錯(cuò)誤。雙目系統(tǒng)對(duì)標(biāo)定精度依賴也極高，任何微小的幾何偏移都可能導(dǎo)致系統(tǒng)性誤差，對(duì)長(zhǎng)期使用的穩(wěn)定性提出挑戰(zhàn)。

車(chē)載雙目攝像頭裝車(chē)要點(diǎn)

將雙目攝像頭部署到車(chē)輛上，并不只是將攝像頭固定在車(chē)頭那么簡(jiǎn)單。安裝時(shí)的基線長(zhǎng)度、攝像頭分辨率、鏡頭視角、曝光策略和同步機(jī)制都需要精心計(jì)算?；€越長(zhǎng)，對(duì)遠(yuǎn)處物體的深度分辨率越好，但也會(huì)導(dǎo)致結(jié)構(gòu)尺寸增大，并可能在近距離出現(xiàn)視差飽和問(wèn)題。在城市低速場(chǎng)景中，短基線雙目已足夠使用，且更易于安裝；若要用于高速公路等需要檢測(cè)遠(yuǎn)距離目標(biāo)的場(chǎng)景，則需要更長(zhǎng)的基線、更高分辨率的傳感器或更長(zhǎng)焦距的鏡頭。

攝像頭的時(shí)間同步也非常關(guān)鍵，左右圖像必須在極短時(shí)間內(nèi)完成采集，否則車(chē)輛或周?chē)矬w的運(yùn)動(dòng)會(huì)導(dǎo)致視差計(jì)算錯(cuò)誤。車(chē)規(guī)級(jí)的雙目模塊通常會(huì)在硬件層面實(shí)現(xiàn)觸發(fā)同步，并在模塊內(nèi)部完成初步標(biāo)定與校正，以降低系統(tǒng)集成的復(fù)雜度。

標(biāo)定與標(biāo)定維護(hù)是最容易被低估的環(huán)節(jié)。攝像頭標(biāo)定需要精確估計(jì)內(nèi)參（焦距、主點(diǎn)、畸變）和外參（兩個(gè)攝像頭之間的旋轉(zhuǎn)與平移）。車(chē)輛經(jīng)過(guò)顛簸或輕微碰撞后，攝像頭支架可能發(fā)生微小偏移，導(dǎo)致深度估計(jì)出現(xiàn)偏差。因此，要設(shè)計(jì)定期自標(biāo)定或在線標(biāo)定的策略，利用車(chē)道線、路面平面或其他結(jié)構(gòu)化特征自動(dòng)校正外參。

此外，曝光與HDR策略也不容忽視，攝像頭需要在逆光、強(qiáng)光對(duì)比等復(fù)雜光照條件下保證圖像可用。很多系統(tǒng)會(huì)采用多曝光或自動(dòng)增益控制來(lái)擴(kuò)展動(dòng)態(tài)范圍，并在圖像處理階段進(jìn)行光照歸一化，以提高匹配的魯棒性。

高精度深度估計(jì)，尤其是基于深度學(xué)習(xí)的方法，需要較大的計(jì)算量，在成本受限的量產(chǎn)車(chē)上必須進(jìn)行權(quán)衡。在常規(guī)駕駛場(chǎng)景下，可使用輕量級(jí)或優(yōu)化后的傳統(tǒng)算法輸出初步深度結(jié)果；當(dāng)系統(tǒng)檢測(cè)到復(fù)雜或關(guān)鍵場(chǎng)景（如行人密集、道路狹窄）時(shí)，再觸發(fā)更精細(xì)的深度網(wǎng)絡(luò)進(jìn)行處理。還可以將計(jì)算密集型任務(wù)分配給車(chē)載高性能計(jì)算單元，并采用稀疏化或分層處理技術(shù)來(lái)節(jié)省資源。

最后的話

雙目攝像頭就像是自動(dòng)駕駛感知工具箱中的一把得力工具，但正如螺絲刀不能替代錘子，它也無(wú)法解決所有感知問(wèn)題，但在其優(yōu)勢(shì)場(chǎng)景下，它卻能以出色的性價(jià)比完成感知任務(wù)。真正可靠的自動(dòng)駕駛系統(tǒng)，是要通過(guò)一群各具所長(zhǎng)、又各有短板的技術(shù)工具的默契配合，在取長(zhǎng)補(bǔ)短中構(gòu)建起來(lái)的。

審核編輯 黃宇