[首發(fā)于智駕最前沿微信公眾號]車載攝像頭在自動駕駛中，就像是“看見世界”的眼睛，其主要任務(wù)是把外界的光學(xué)信息轉(zhuǎn)換成計算機(jī)能理解的像素數(shù)據(jù)，再通過一系列算法，從這些像素中提煉出“有什么物體、在什么位置、如何運(yùn)動、可能想做什么”這類高層信息。作為一個感覺硬件車載攝像頭是如何感知距離的？

車載攝像頭的基本架構(gòu)與信號處理流程

攝像頭的核心是一塊光電傳感器，現(xiàn)在普遍用的是CMOS傳感器。光線從鏡頭進(jìn)入，經(jīng)過光圈、濾光片，最后投射到傳感器表面。傳感器把接收到的光轉(zhuǎn)換成電荷，模數(shù)轉(zhuǎn)換器再把這些電荷轉(zhuǎn)成數(shù)字值，這些數(shù)值就組成了一幀圖像。

鏡頭決定了視角和成像會不會畸變，光圈和快門控制著進(jìn)光量和運(yùn)動模糊程度，傳感器像素的大小則決定了單位面積捕捉光子的能力。

隨后，ISP（圖像信號處理器）會對原始數(shù)據(jù)做去噪、白平衡、伽瑪校正、去畸變和壓縮等處理，最終輸出給機(jī)器學(xué)習(xí)或視覺算法直接使用的圖像流。

車載攝像頭和普通相機(jī)的不同，主要在于工程上的要求更苛刻。它必須能應(yīng)對高動態(tài)范圍（比如白天強(qiáng)光和進(jìn)入隧道后的黑暗）、溫度變化、機(jī)械振動、雨雪和灰塵。

為了適應(yīng)這些場景，車載系統(tǒng)通常會配備自動曝光、短時HDR（高動態(tài)范圍合成）功能，并在全局快門和滾動快門之間權(quán)衡（滾動快門成本低，但在快速運(yùn)動下會產(chǎn)生變形）。有時還會在鏡頭前加裝電熱絲來防霧，或在夜間用紅外/近紅外補(bǔ)光。

攝像頭模組需要經(jīng)過精確標(biāo)定，包括內(nèi)參（焦距、主點(diǎn)、畸變系數(shù)）和外參（相對于車體坐標(biāo)以及其他傳感器的位置和姿態(tài)），這對后續(xù)的距離估計和多傳感器融合非常關(guān)鍵。

在自動駕駛系統(tǒng)中，攝像頭數(shù)據(jù)需要與車輛總線、IMU（慣性測量單元）、車輪里程計、激光雷達(dá)等同步。時間戳是否精確、幀率高低以及延遲大小，都會直接影響車輛對動態(tài)目標(biāo)（比如行人、摩托車）的反應(yīng)能力。

分辨率和幀率之間也常常需要權(quán)衡，更高分辨率有助于識別遠(yuǎn)處的小物體，但處理和傳輸?shù)呢?fù)擔(dān)更重；更高幀率能減少運(yùn)動模糊、提升響應(yīng)速度，但可能導(dǎo)致光學(xué)信號變暗，并且更消耗算力。

攝像頭在自動駕駛系統(tǒng)中的作用

之所以把攝像頭比作“眼睛”很形象，是因為它擅長提供顏色、紋理、形狀這類信息給計算機(jī)識別。

其具體任務(wù)包括檢測和定位車輛、行人、騎行者、交通標(biāo)志、交通燈、車道線等，進(jìn)行語義分割（在像素級別識別出道路、行人、自行車道等），以及預(yù)測目標(biāo)的行為（比如行人是否要橫穿馬路）。

在識別語義信息時，攝像頭通常比激光雷達(dá)更有優(yōu)勢，顏色能幫助識別信號燈和標(biāo)志，紋理信息有助于更精細(xì)地辨別物體類別。

但攝像頭也有明顯的局限。

它本身不會直接測量距離（不像激光雷達(dá)那樣直接給出點(diǎn)云）；在強(qiáng)逆光、夜間光線不足、雨雪霧霾等環(huán)境下，性能也會大幅下降；對于光學(xué)遮擋、反光、玻璃后的物體，識別起來也比較困難。

此外，攝像頭的成像會受到鏡頭畸變、顏色偏差和壓縮偽影的影響，需要軟件算法來進(jìn)行補(bǔ)償和增強(qiáng)。

因此車載攝像頭是一個“語義能力強(qiáng)，但幾何能力弱”的傳感器，往往會和激光雷達(dá)、毫米波雷達(dá)或超聲波傳感器配合使用，取長補(bǔ)短。

用攝像頭識別物體距離的幾種方法

既然車載攝像頭沒有辦法探測距離，那有些使用純視覺方案的自動駕駛系統(tǒng)是如何感知距離的？

其實依托攝像頭判斷距離的方法有很多，核心思路可以分為帶基線的立體幾何法、基于運(yùn)動或結(jié)構(gòu)恢復(fù)的單目方法、基于學(xué)習(xí)的深度估計，以及利用視覺和先驗信息的尺度估計等幾類。

立體視覺是最直觀的幾何方法。

在車上固定安裝兩個同型號的攝像頭，兩個鏡頭之間保持已知的基線距離。

它們同時對同一場景拍攝，得到左右兩張圖像。通過在這兩張圖像里尋找對應(yīng)點(diǎn)（也就是“匹配”），可以得到一個叫“視差”的值，即同一物體在左右圖像中水平位置的差值。

根據(jù)三角測量原理，物體到攝像頭的深度Z，與焦距f、基線B、視差d的關(guān)系可以近似表示為：Z = f * B / d。這個公式計算簡單，在短中距離（幾米到幾十米）效果很好。

舉個例子來具體計算一下：假設(shè)攝像頭等效焦距是800像素，基線是0.2米，某個物體在左右圖像的視差是40像素。代入公式：Z = f * B / d。先算f * B：800 * 0.2 = 160。然后160除以40：160 / 40 = 4。結(jié)果就是Z = 4米。實際工程中，需要注意視差的亞像素精確化、立體對齊以及紋理不足區(qū)域可能匹配失敗的問題。

立體方法的優(yōu)點(diǎn)是物理原理直觀、可解釋性強(qiáng)，而且沒有尺度歧義（因為基線和焦距已知），對近中距離物體精度較高。

其缺點(diǎn)也很突出，需要兩個攝像頭精確標(biāo)定和穩(wěn)定安裝；基線太小會導(dǎo)致遠(yuǎn)處深度精度差（視差太小容易受噪聲影響）；紋理稀疏或重復(fù)的圖案會造成匹配錯誤。

車載立體系統(tǒng)通常需要對視差進(jìn)行后處理、濾波和一致性檢測，來抑制錯誤。

那單目攝像頭方案是否可以探測距離？其實單目攝像頭本身不直接提供深度，需要借助其他線索來恢復(fù)三維信息。

基于多幀的結(jié)構(gòu)從運(yùn)動（SfM）或視覺里程計（VO）

基本思路是利用車輛移動時連續(xù)拍攝的多幀圖像，跟蹤特征點(diǎn)，結(jié)合相機(jī)的運(yùn)動（可以從車輛里程計或IMU估計）和特征點(diǎn)在圖像中的運(yùn)動，來恢復(fù)三維點(diǎn)云和深度。

這本質(zhì)也是三角測量，只不過基線來自攝像頭的運(yùn)動而非固定物理基線。

這個方法的優(yōu)點(diǎn)是硬件要求低，缺點(diǎn)是對場景自身運(yùn)動、光照變化敏感，且恢復(fù)的深度存在尺度不確定性（除非有外部尺度信息）。

物體尺寸先驗法

利用已知物體的典型尺寸來估算距離。比如，我們知道一般轎車的高度大約1.5米，如果在圖像中檢測到車輛并量出它的像素高度是h，那么可以用相機(jī)內(nèi)參和三角關(guān)系估算距離：Z≈ f * H_real / h。其中H_real是物體真實高度，f是焦距（像素單位）。

舉例說明：假設(shè)f=800像素，H_real=1.5米，檢測到圖像中車高h(yuǎn)=200像素，那么Z ≈ (800 * 1.5) / 200。先算800 * 1.5 = 1200，然后1200 / 200 = 6，得出大約6米。

這種方法非常依賴物體的真實尺寸是否符合先驗假設(shè)，遇到不同車型或車輛姿態(tài)（如上下坡、傾斜）時誤差會變大。

深度學(xué)習(xí)法

訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)直接從單張圖像預(yù)測深度圖，或者從左右圖像預(yù)測視差圖。

訓(xùn)練可以是監(jiān)督學(xué)習(xí)（需要大量帶深度真值的數(shù)據(jù)，通常來自激光雷達(dá)或結(jié)構(gòu)光），也可以是自監(jiān)督學(xué)習(xí)（利用立體對或連續(xù)幀之間的重投影一致性作為訓(xùn)練信號）。

深度學(xué)習(xí)方法的優(yōu)點(diǎn)是能在紋理弱的區(qū)域給出估計，并能利用上下文語義信息彌補(bǔ)幾何匹配的失敗，在特定訓(xùn)練數(shù)據(jù)分布上效果很好。

缺點(diǎn)是容易受訓(xùn)練數(shù)據(jù)分布影響，泛化能力是個挑戰(zhàn)，而且單目深度估計通常存在尺度模糊問題，尤其在自監(jiān)督訓(xùn)練中會更為明顯。

時間軸上的信息也常用來輔助判斷。比如通過光流和相機(jī)運(yùn)動，可以估計碰撞時間或相對速度，這對判斷危險很有用。它不直接給出絕對距離，但對決策（例如緊急剎車）至關(guān)重要。

還有一些更少用但可能有效的方法，比如從散焦恢復(fù)深度，或從焦點(diǎn)變化恢復(fù)深度。

這些方法利用鏡頭的焦平面和景深信息，通常需要可控的光學(xué)系統(tǒng)或多張不同焦距的圖像，在車載環(huán)境下實現(xiàn)比較復(fù)雜，應(yīng)用會相對受限。

現(xiàn)在最常見且最穩(wěn)妥的方法還是混合方法，也就是把攝像頭和其他傳感器融合起來，攝像頭提供語義和邊界框，激光雷達(dá)提供稠密準(zhǔn)確的距離，毫米波雷達(dá)負(fù)責(zé)在惡劣天氣下穩(wěn)定檢測遠(yuǎn)距離大物體，IMU/里程計則提供尺度信息和運(yùn)動補(bǔ)償。

真正可靠的距離感知，往往來自于多傳感器的融合，而不是只依賴某一種方法。

誤差來源與常見應(yīng)對策略

在工程實踐中，要實現(xiàn)準(zhǔn)確穩(wěn)定的攝像頭深度感知，不只是選對算法那么簡單，還有很多細(xì)節(jié)都會影響最終效果。

視差噪聲和遠(yuǎn)距離不穩(wěn)定性是立體系統(tǒng)的常見問題。視差越小，深度估計對視差誤差越敏感，誤差會被放大。可以通過增加基線、提高相機(jī)分辨率、進(jìn)行亞像素視差估計、加入時間平滑等方式來改善。

但基線不能無限增大，受限于車上安裝位置，而且外參容易因震動和熱變形而變化。因此，很多系統(tǒng)會在前向中距離使用雙目，遠(yuǎn)距離則依靠長焦單目攝像頭或毫米波雷達(dá)來補(bǔ)充。

光照和天氣是攝像頭的主要挑戰(zhàn)。

強(qiáng)逆光會讓物體變成剪影，夜間信噪比會下降，雨霧會導(dǎo)致對比度和紋理消失。

對于這個問題常采用的策略包括用HDR成像、低噪聲傳感器、更大尺寸的像素、紅外補(bǔ)光，以及學(xué)習(xí)型的去霧和圖像增強(qiáng)模塊。

但這些方法會增加延遲和算力消耗，在極端天氣下性能仍難保證。所以系統(tǒng)設(shè)計必須包含降級策略，當(dāng)攝像頭置信度低時，應(yīng)切換到更保守的控制模式或依賴其他傳感器。

標(biāo)定與時鐘同步的重要性常被低估，但至關(guān)重要。攝像頭的內(nèi)外參如果有偏差，距離計算就會系統(tǒng)性地出錯。外參變化可能來自熱變形、碰撞后的輕微位移或長期的機(jī)械松動。

為了保證精度，在生產(chǎn)和維護(hù)階段需要有嚴(yán)格的標(biāo)定流程，在運(yùn)行時也可以利用在線標(biāo)定或視覺-慣性聯(lián)合標(biāo)定來動態(tài)校正。

在時間同步方面，圖像幀的時間戳必須與車輛控制指令以及其他傳感器數(shù)據(jù)精確對齊，否則基于運(yùn)動的估計會出錯。

算法層面的魯棒性設(shè)計也很關(guān)鍵。無論是傳統(tǒng)立體匹配還是深度學(xué)習(xí)模型，都需要對錯誤的匹配或異常的輸出進(jìn)行置信度評估。

置信度低的區(qū)域，應(yīng)該由其他傳感器替代，或者進(jìn)行平滑處理并降低其在決策中的權(quán)重。模型更新和數(shù)據(jù)閉環(huán)也不能忽視，可以把實際車輛在真實場景中遇到的失敗樣本回收進(jìn)訓(xùn)練集，持續(xù)提升模型應(yīng)對邊界情況的能力。

還有就是算力與功耗的平衡。高分辨率、高幀率和復(fù)雜網(wǎng)絡(luò)會消耗大量算力，這在車載環(huán)境下直接關(guān)系到成本和熱管理。

因此要在感知管線里做分級處理，用快速、輕量的模型做實時預(yù)篩選，復(fù)雜的模型則在感知服務(wù)器或有空閑算力時進(jìn)行精細(xì)化處理。硬件上會采用專用的視覺加速器或神經(jīng)處理單元來平衡性能與功耗。

最后的話

攝像頭是自動駕駛中比較重要的傳感器之一，能完成目標(biāo)識別、語義分割、行為預(yù)測等大量對決策至關(guān)重要的任務(wù)。但攝像頭天生不直接攜帶距離信息，需要借助幾何三角、運(yùn)動基線或基于學(xué)習(xí)的方法來恢復(fù)深度。

立體視覺利用物理基線進(jìn)行三角測量，簡潔明了但對紋理和基線要求高；單目方法依賴運(yùn)動或先驗信息，更靈活但可能存在尺度模糊；深度學(xué)習(xí)能在復(fù)雜場景下給出估計，但泛化性和可靠性需要大量工程數(shù)據(jù)和校驗來保障。

現(xiàn)在最穩(wěn)健的做法還是多傳感器融合，讓攝像頭負(fù)責(zé)“看清楚是什么”，讓激光雷達(dá)或毫米波雷達(dá)負(fù)責(zé)“告訴我這東西離我多遠(yuǎn)”，兩者結(jié)合才能既識別得準(zhǔn)又定位得穩(wěn)。