[首發(fā)于智駕最前沿微信公眾號]把自動駕駛想像成一個有眼耳和大腦的司機。感知系統(tǒng)就是它的“眼睛”和“耳朵”，負責把諸如前方有一輛車、左側(cè)有個行人過馬路、右邊車道被施工封閉了、紅燈亮了等外界的光、雷達回波、距離、速度這些原始信號變成機器能看懂的“事實”。感知并不是單一模塊的工作，而是一整套從硬件到軟件、從標定到算法、從實時性到冗余設計的組合工程。沒有可靠的感知，后面的預測和規(guī)劃就像盲駕，再聰明的決策也可能撞上現(xiàn)實。

如果將感知拆分，可以分為“傳感器”和“算法”兩大塊，但其中還包含時間同步、標定、數(shù)據(jù)融合、狀態(tài)估計，以及在線自檢與降級（當某種傳感器失效時系統(tǒng)如何優(yōu)雅退化）等內(nèi)容。

感知系統(tǒng)由哪些核心部分組成

感知系統(tǒng)最主要的就是傳感器，常見的有攝像頭、激光雷達（LiDAR）、毫米波雷達、超聲波以及慣性測量單元（IMU）與車輪里程計等。攝像頭擅長識別如識別交通燈、交通標識和文本信息等顏色和細節(jié)，；激光雷達能給出高精度的三維點云，適合檢測物體形狀和測距；毫米波雷達在雨雪霧等能見度差的情況下仍然能穩(wěn)定測出物體距離和速度；超聲波適合近距離的低速泊車感知；IMU 和里程計則提供車輛自身的運動狀態(tài)，幫助把傳感信息放到一致的時間與空間坐標系里。不同傳感器各有長短，在車輛上常常把它們按能力互補地組合起來，形成穩(wěn)健的感知“傳感網(wǎng)”。

雖然不同傳感器在采集數(shù)據(jù)時是同一個交通場景，但想要把相機的像素、雷達的回波、LiDAR 的點云放到同一個“地圖”上，必須做精確的時間戳對齊和外參/內(nèi)參標定。標定包括內(nèi)參（比如相機的焦距、畸變參數(shù)）和外參（不同傳感器之間的相對位置與朝向）。這一步看起來枯燥，但它決定了后續(xù)融合的基礎精度，往往直接影響檢測、跟蹤偏差以及定位誤差。

還有就是感知算法鏈路，通常分為感知前處理、檢測與分割、跟蹤與軌跡估計、語義理解與場景解析這幾層。前處理包含去噪、點云下采樣、圖像增強等；檢測與分割負責把原始數(shù)據(jù)變成“我看見了什么”，檢測框、實例掩碼或語義類別；跟蹤模塊把一幀幀的檢測結(jié)果關(guān)聯(lián)起來，給每個目標一個穩(wěn)定的ID并估計速度、加速度；語義理解則把這些目標放進更復雜的語境里，比如判斷某個行人是否有橫穿馬路的意向、車道哪兒是可通行區(qū)域、哪里可能有臨時障礙物。

自動駕駛系統(tǒng)涉及到多個傳感器，無可避免地就要涉及到傳感器融合。融合的層級可以是像素級、特征級或決策級，也可以是把點云先換成鳥瞰視圖再與相機特征融合的方式。融合要解決如不同傳感器的分辨率差異、視角遮擋、時間延遲、數(shù)據(jù)頻率不一致等問題。合理的融合策略能顯著提升遠近、靜動目標的探測能力，也更容易滿足冗余與安全要求。

定位與地圖（有時候感知和定位會耦合得很緊）也是感知系統(tǒng)中非常重要的一環(huán)。高精地圖或局部地圖能提供車道線、靜態(tài)障礙、路緣等先驗，使感知在復雜場景下更穩(wěn)。當?shù)貓D不可用時，感知需要承擔更多的工作，像實時構(gòu)建占用網(wǎng)格或做視覺里程計（VO）/激光SLAM。這部分對實時性和算力要求都不低。

評估與在線自檢在感知系統(tǒng)中也很重要。評估包括離線的指標（mAP、召回率、F1、跟蹤精度等）和在線健康檢測（傳感器是否有異常、模型是否漂移）。在線自檢非常關(guān)鍵，當某個傳感器被雪覆蓋或者相機鏡頭被污漬遮擋時，系統(tǒng)必須能迅速發(fā)現(xiàn)并切換到安全策略，提醒乘客接管或降低功能級別。

感知既有大量信號預處理和幾何計算，也有深度學習推理。這要求在車端部署高性能的SoC/GPU/NPU，同時做能耗與實時調(diào)度的工程權(quán)衡。很多車企選擇把復雜的訓練放到云端，實時推理留在車端，這樣既保證模型不斷進步，又能滿足低時延要求。

感知的工作到底怎么工作？

想象一輛車正沿城市道路行駛。攝像頭拍到的光線先經(jīng)過鏡頭畸變校正，再被送進卷積網(wǎng)絡做特征提取，網(wǎng)絡會給出類別（車、人、騎行者）、邊界框和像素級分割。同時，LiDAR發(fā)回來的點云會做體素化或投影成鳥瞰圖，進入專門的3D檢測網(wǎng)絡，識別立體目標并估計相對高度與尺寸。毫米波雷達則持續(xù)輸出距離與徑向速度，在深度學習模型難以可靠判斷物體速度時提供穩(wěn)健的速度信息。

各感知流的輸出經(jīng)過時間同步后進入融合模塊。融合模塊會把相機的類別與LiDAR的距離結(jié)合，修正目標的三維位姿；再用雷達的速度信息確認該目標是靜止還是移動。接下來是跟蹤器，它根據(jù)目標的歷史軌跡進行關(guān)聯(lián)，用卡爾曼濾波或更復雜的隨機濾波器來平滑位置與速度估計。最終，感知把一幅幀的“我看見了什么、它在哪里、它往哪兒去”交給預測模塊，用于后續(xù)規(guī)劃與控制。

一個好感知系統(tǒng)不僅要準確地說出“有個行人”，還要給出置信度（這件事有多確定）、近中遠距離不確定性以及對異常情況的提示（比如“相機被強光遮擋”）。這種不確定性表達對安全決策非常關(guān)鍵，因為規(guī)劃模塊要根據(jù)不同置信度采取不同保守策略。

為何感知是自動駕駛里最難的一環(huán)？

環(huán)境條件的不確定性是自動駕駛汽車需要面對的首要難題。大霧、強逆光、夜間、雨雪都會讓攝像頭性能急劇下降。LiDAR 在大雪時會產(chǎn)生大量假點，雷達在復雜金屬結(jié)構(gòu)附近可能發(fā)生多徑干擾。為此需要傳感器冗余和多模態(tài)融合，用弱傳感器補強強傳感器的短板，同時在軟件層面做感知信號的質(zhì)量評估與權(quán)重調(diào)整。

還有一個就是長尾問題，也就是那些極其罕見但可能致命的場景，可能導致安全事故。數(shù)據(jù)驅(qū)動的模型在常見場景上表現(xiàn)很好，但對極端場景（比如街頭突然出現(xiàn)推車或非標路障）往往沒有足夠訓練樣本。解決辦法包括數(shù)據(jù)增強、模擬器生成稀有場景、主動學習以便把真實稀有樣本送回訓練鏈路，以及把規(guī)則化的幾何檢測與學習方法混合使用，形成不易被數(shù)據(jù)稀缺拖垮的混合感知體系。

實時性和算力限制也是感知系統(tǒng)設計不得不面對的問題。感知算法要在幾十毫秒甚至更短時間內(nèi)完成推理和融合，才能保證規(guī)劃有足夠的反應時間。這就需要高效的模型壓縮、量化、算子優(yōu)化，以及把關(guān)鍵工作放在低延遲的車端硬件上。同時，系統(tǒng)設計要允許在極端算力或傳感器受限情況下，感知只保留最關(guān)鍵的功能（比如只檢測大型移動目標和車道邊界），并將控制權(quán)或警示交給駕駛員。

系統(tǒng)可解釋性與安全標準也是必須解決的問題。感知模型往往是復雜的深度網(wǎng)絡，工程團隊要做大量的安全分析，證明在多數(shù)可預見的情況下系統(tǒng)會保持安全。行業(yè)里常常把功能安全（ISO 26262）與“意外功能安全”（SOTIF, Safety Of The Intended Functionality）放在一起討論，既要預防硬件故障，也要應對模型在合法輸入下的錯誤行為。實踐中會結(jié)合冗余傳感、規(guī)則檢測器與護欄式規(guī)劃策略來降低風險。

人為因素與法規(guī)限制也會影響感知設計。不同市場對傳感器（比如LiDAR）接受度不同，法規(guī)對可用數(shù)據(jù)（車外攝像頭捕捉到行人的面部等隱私信息）有嚴格約束。設計團隊要在技術(shù)、成本、合規(guī)之間找到平衡點。

如何把感知系統(tǒng)設計好？

一個可落地的感知系統(tǒng)里充斥著大量“細節(jié)決定成敗”的工作。硬件層面，需要做散熱、抗振動、防水防塵、鏡頭除霧與加熱、防雨刷聯(lián)動等物理工程，任何一個小失誤都可能導致夜間或雨天感知失效。標定工作也不是一次性任務；裝車以后溫度變化、車身微小變形都會引起外參漂移，所以要設計自動標定或定期校驗流程。

數(shù)據(jù)層面的工作量也非常大。標注不僅僅是畫框那么簡單，復雜場景需要標注速度、遮擋等級、可通行性、行為意圖等豐富標簽；數(shù)據(jù)質(zhì)量管理包括標簽一致性檢驗、異常樣本篩查、以及對模型失誤的回放分析。這些流程直接決定模型能否在真實世界里長時間穩(wěn)定運行。

模型上線后，運營團隊要持續(xù)做A/B測試、在線評估、以及從車輛回傳的稀有場景中做樣本補充。整個閉環(huán)的效率決定了系統(tǒng)迭代的速度和安全性。很多公司把這個閉環(huán)稱作“感知數(shù)據(jù)閉環(huán)”，即把實際運行中遇到的問題快速轉(zhuǎn)為標注樣本、再進入訓練、再回到線上驗證。

在設計感知系統(tǒng)時，和上游公司（傳感器供應商）、下游模塊（預測、規(guī)劃、控制）以及法規(guī)審查部門的溝通同樣重要。感知不是孤立模塊，接口定義、置信度語義、故障報告方式都需要跨團隊約定好，才能在整車層面做到協(xié)調(diào)一致。

最后的話

感知聽起來是在做“看圖識物”的事情，但真正的難點在于把物理信號、數(shù)學模型、系統(tǒng)工程和安全機制結(jié)合起來，形成能在各種真實道路條件下穩(wěn)定運行的能力。它既包含深度學習等前沿算法，也離不開標定、同步、工程級的健壯實現(xiàn)與運營閉環(huán)。