普適性感知處理架構(gòu)

　　智能駕駛汽車上已經(jīng)越來越多的應(yīng)用了計算密集型的計算機視覺算法，這就對汽車SoC提出了很多關(guān)于硬件加速的要求。這些硬件加速單元主要用于圖像信號處理、鏡頭畸變校正、密集光流、深度學(xué)習(xí)等。其中，基于視覺點云和激光點云深度學(xué)習(xí)由于其對環(huán)境的幾何重建能力、目標(biāo)運動估計，在各種識別任務(wù)中越來越發(fā)揮著主導(dǎo)作用。因此，為了最大限度地提高處理硬件的性能，最好從處理階段的角度考慮嵌入式視覺，并在每個處理階段考慮共享處理策略。對于自動駕駛中的視覺處理架構(gòu)而言，這種共享處理策略通常是指對多傳感輸入源進行多維算法同步并行的管道處理方式（即Pipelines設(shè)計處理）。

　　如上圖所示，總體上Pipelines的傳感數(shù)據(jù)處理包含預(yù)處理、像素/點云級處理、中間過度處理、核心目標(biāo)處理、后處理等幾個階段。

　　在感知數(shù)據(jù)的“預(yù)處理階段”，涉及圖像視頻信息處理過程包含有基礎(chǔ)的ISP處理模塊，如白平衡、去噪、顏色校正和顏色空間轉(zhuǎn)換等。這類處理過程通常是像素級別的處理過程，因此需要在SOC芯片中設(shè)置專門的硬件引擎模塊進行處理。激光雷達數(shù)據(jù)預(yù)處理方面，包括從指定區(qū)域獲取點云、去除給定區(qū)域的點、點云下采樣，通過格柵化采樣和區(qū)域密度規(guī)律濾波，從而獲得可以被穩(wěn)定觀察和篩選的激光點云。毫米波雷達的預(yù)處理則包含根據(jù)反射目標(biāo)能量剔除空目標(biāo)和無效目標(biāo)，以保證環(huán)境感知的準(zhǔn)確性，避免因干擾目標(biāo)的出現(xiàn)而引起誤判。該階段在神經(jīng)網(wǎng)絡(luò)階段主要是編碼階段出現(xiàn)。

　　“像素級/點云級處理階段”主要是有硬件加速器和GPU主導(dǎo)的前端精細(xì)化處理階段。這類處理算法相對固化（比如經(jīng)典的前端處理算法：邊緣檢測、特征提取、描述算子、點云配準(zhǔn)、視差估計等），其核心主要與硬件每秒運行次數(shù)相關(guān)。

　　“中間過度處理”是一種從像素級到目標(biāo)級處理的過渡階段，主要涉及神經(jīng)網(wǎng)絡(luò)CNN的解碼過程。該階段的主要處理器是DSP處理器，包括通過視覺里程表估計車輛運動，雙目視差圖進行場景深度信息估計和點云三維重建等過程。

　　“前融合處理階段”簡單的說就是進行目標(biāo)聚類，以便為高層次推理提供依據(jù)。聚類的原理是對已經(jīng)具備先驗知識的目標(biāo)對象進行分類提取。可以應(yīng)用一定的算法來抑制移動目標(biāo)的重縮放，也可以應(yīng)用目標(biāo)重構(gòu)的方式進行自學(xué)習(xí)。并且該過程需要將各類傳感器聚類的各種目標(biāo)按照指定分配不同的置信度進行一定的目標(biāo)融合。通常這類前融合算法會將相同類型的傳感器數(shù)據(jù)首先進行融合（如先分別做7V視覺前融合、5R毫米波雷達前融合、2-3激光雷達前融合）。融合過程給各傳感器本身識別能力參數(shù)標(biāo)定為相同的值，而給予傳感器感知的場景方位數(shù)據(jù)分配不同的權(quán)重。比如對于本車道的前方目標(biāo)，給前視攝像頭分配比側(cè)視攝像頭分配更高的權(quán)重。這類算法通常需要在ARM或DSP這類通用處理單元上進行有效處理。

　　“后融合處理階段”又稱為全局感知目標(biāo)處理階段。即對于前端感知形成一定持久性、穩(wěn)定性的大空間數(shù)據(jù)地圖進行后期優(yōu)化。該優(yōu)化過程包含Bundle adjustment、地圖構(gòu)建、高級目標(biāo)跟蹤和預(yù)測，也包括對探測的相同類目標(biāo)的不同感知源根據(jù)其本身特性和感知目標(biāo)的關(guān)注特性分配不同的權(quán)重，從而獲得系統(tǒng)對環(huán)境目標(biāo)的最高級別推理。

　　非標(biāo)準(zhǔn)同構(gòu)雙目攝像頭能否考慮深度估計

　　通常對于車載相機的多任務(wù)處理而言：包含深度估計、視覺里程計、語義分割、移動分割、物體檢測以及鏡頭污染檢測等六個主要任務(wù)。在智能駕駛場景中，移動目標(biāo)的相關(guān)信息是非常重要的，一般采用連續(xù)幀或者光流來進行計算。此外，為了銜接后續(xù)規(guī)控任務(wù)，往往需要基于視覺里程計來實現(xiàn)檢測物體建圖。

　　這里我們重點講解下其中的深度估計方法。

　　在智駕汽車域中的深度信息估計中，大范圍采用的是利用前視同構(gòu)雙目相機來進行深度估計的。其目的是通過深度估計來實現(xiàn)對前方目標(biāo)的三維立體信息檢測。在最新的視覺感知算法中，還會進一步考慮對車輛側(cè)邊的目標(biāo)進行距離信息估計，這時就需要考慮利用魚眼相機進行深度距離信息估計。

　　基于此，隨著智駕感知研究深度逐漸提升，很多廠家也在考慮采用魚眼攝像頭進行視差估計（甚至有些也在研究側(cè)視或前視大小眼相機的深度估計）。實際上，四個魚眼相機/普通側(cè)視同側(cè)相機雖然從基本的構(gòu)造上可以被視作簡單同構(gòu)相機（當(dāng)然由于安裝位置的不同，需要排除簡單的基線影響）。但是其安裝位置上講，確實無法真正滿足對于標(biāo)準(zhǔn)雙目攝像頭的布置需求（可以說兩種非標(biāo)準(zhǔn)魚眼/側(cè)視相機的基線是非常巨大的，測出來的結(jié)果也不準(zhǔn)確）。因此，環(huán)視/側(cè)視這類非標(biāo)準(zhǔn)相機圖像會增加對于三維信息重建任務(wù)的復(fù)雜度。

　　考慮魚眼圖像會增加三維重建任務(wù)的復(fù)雜度，比如對于多視角幾何、立體視覺和深度估計而言，大多數(shù)工作通常是假設(shè)其拍攝的場景是平面透視圖像的，并且傳統(tǒng)的立體幾何求解方式進一步限制了圖像中的極線必須是水平的。

　　此外，對于真實的全景魚眼相機而言，由于鏡頭拍攝的圖像存在大量的畸變，除了很難保證其寬動態(tài)范圍需求外，也會導(dǎo)致相機坐標(biāo)模型不再適用于標(biāo)準(zhǔn)的投影模型，因此在對魚眼相機做立體幾何重建之前需要進行有效的圖像校準(zhǔn)和畸變矯正。

　　當(dāng)然，對于立體幾何重建而言，通常會考慮保持極線筆直和水平的立體要求（主要滿足立體幾何中的對極幾何要求），在此前提下，可能會利用類似最小化重采樣的方式對非平面圖像進行定制化畸變矯正。這類定制去畸變方法可能會導(dǎo)致有些邊緣的幾何圖像扭矩甚至深度畸變。此外，整個圖像重采樣過程中，噪聲函數(shù)也會被重采樣過程扭曲，這種扭曲將增加重投影誤差。

　　如上所述，采用不合理的校正算法可能會有比較大的副作用，比如視場角減小以及重采樣扭曲缺陷等。同一物體因為成像空間畸變破壞了表觀特征位移不變性，同樣會給下游感知算法帶來了巨大挑戰(zhàn)。

　　因此，是否能夠在深度學(xué)習(xí)中盡量繞開畸變矯正環(huán)節(jié)或者期間做適當(dāng)優(yōu)化，使得處理過程變得更加符合真實性呢？

　　這里，我們可以通過建立多任務(wù)學(xué)習(xí)模型來實現(xiàn)相應(yīng)的深度估計。“多任務(wù)”顧名思義就是同時通過對場景建立多種模型估計，這種模型可以利用單目和多目攝像頭的各種優(yōu)勢來彌補由于畸變矯正導(dǎo)致的圖像邊緣信息扭曲、失真等。同時，實現(xiàn)估計過程的并行處理Pipeline（包括環(huán)境目標(biāo)的外觀、移動、深度估計等），期間也可以實現(xiàn)計算資源共享的問題。

　　此外，整個多視角圖像的深度估計過程也可以通過附加監(jiān)督信號（如光流和目標(biāo)運動），加強其估計的準(zhǔn)確性。通過建立視差網(wǎng)絡(luò)可以將各個不同方位的攝像頭數(shù)據(jù)所采集的立體視頻數(shù)據(jù)集信息傳輸?shù)秸鎸嵤澜绲纳疃裙烙嬛小?/p>

　　基于此，我們對于魚眼/側(cè)視相機這類非標(biāo)準(zhǔn)同構(gòu)雙目相機而言，其深度估計則可以參照如下圖的方式進行。

　　如上圖中所示，其基礎(chǔ)原理是將來自多個周圍視圖的信息合并到一起，以預(yù)測攝像頭之間的深度圖，具體地說：

　　1）使用一個圖像聯(lián)合網(wǎng)絡(luò)來處理所有相機拍攝的周邊視圖；

　　2）使用一個交叉視圖轉(zhuǎn)換器來有效地融合來自多個視圖的信息，并進行全局交互；

　　3） 使用多組攝像頭外參矩陣，結(jié)合采用其運動估計架構(gòu)的稀疏矩陣所構(gòu)造的深度圖來訓(xùn)練識別模型，以實現(xiàn)對真實世界的尺度預(yù)測；

　　4）估計自車的整體運動狀態(tài)，并將其傳輸?shù)矫總€視圖，以實現(xiàn)多視圖估計的一致性；

　　此外，也可以適當(dāng)引入曲面法線來幫助進行預(yù)測深度，因為深度信息估計會受到曲面法線所確定的局部切平面約束（如下圖所示）。其中，深度到法線（depth-to-normal）關(guān)系將迫使最終預(yù)測遵循幾何約束。因此整個目標(biāo)深度在法線投影后仍然遵循場景目標(biāo)約束。

　　眾所周知，從圖像坐標(biāo)到世界坐標(biāo)的投影由于受到校準(zhǔn)不良、平地假設(shè)、檢測變化、像素密度和相機模型誤差的影響很容易出錯。由于測量噪聲的失真取決于圖像中感興趣點的位置以及相機相對于路面的位置，因此解決這一問題變得更加復(fù)雜。如果目標(biāo)在感興趣的點都沒有實際接觸地面，那么對于投影到世界坐標(biāo)系的平地假設(shè)將存在重大錯誤。

　　比如對于多視角幾何、立體視覺和深度估計而言，大多數(shù)工作通常是假設(shè)其拍攝的場景是平面透視圖像的，并且傳統(tǒng)的立體幾何求解方式進一步限制了圖像中的極線必須是水平的。

　　大火的BEV需要解決哪些問題

　　這兩年智駕系統(tǒng)中的BEV相關(guān)算法發(fā)展讓深度學(xué)習(xí)應(yīng)用于BEV空間轉(zhuǎn)換的方式逐漸成為主流。BEV感知的本質(zhì)是對物理世界的三維重建，這個過程需要高效優(yōu)質(zhì)的檢測端和精確標(biāo)定的攝像頭內(nèi)外參數(shù)?；跀?shù)據(jù)輸入，整個BEV的感知研究通常是以視覺為中心的算法，用于從多個周圍攝像頭角度進行三維目標(biāo)檢測或分割，BEV激光雷達描述了點云輸入的檢測或分割任務(wù)。

　　本文通過闡述了BEV感知原理，并對不同解決方案進行深入分析，描述行業(yè)中幾個BEV系統(tǒng)設(shè)計方法。從而針對BEV存在的如下核心問題進行了詳細(xì)的方案分析。

　?。╝）如何通過從透視圖到BEV的視圖轉(zhuǎn)換來重建丟失的3D信息；（b）如何在BEV網(wǎng)格中獲取真值標(biāo)注；（c）如何制定流水線，納入來自不同來源和視圖的特征；（d）當(dāng)傳感器配置在不同場景中不一樣時，如何適應(yīng)和推廣算法。

　　如圖是BEV攝像機的普通流水線（僅攝像機感知）。它包括三個部分，包括二維特征提取、視圖變換和三維解碼器。

　　然而，對于整個BEV設(shè)計中，目前還需要解決的問題還包括：

　　1） BEV模塊如何設(shè)計更精確的深度估計器；

　　搭載多傳感器生成的BEV主要解決不同的深度預(yù)測場景。首先就是標(biāo)準(zhǔn)的立體視差估計，并在時域范圍內(nèi)進行運動預(yù)測；其次，將2D圖像到3D圖像設(shè)置對應(yīng)的投影矩陣進行合理的變換。

　　這里為了保證更好的估計性能，引入大量的監(jiān)督數(shù)據(jù)也顯得至關(guān)重要。監(jiān)督數(shù)據(jù)可以作為很好的先驗數(shù)據(jù)來為整個變換做前置條件。

　　視圖變換是構(gòu)建3D信息和編碼3D先驗假設(shè)的主要模塊。大體上，它可以分為兩個方面：一是利用2D特征構(gòu)造深度信息并將2D特征“提升”到3D空間，即從2D特征預(yù)測深度信息；核心問題是如何從2D圖像中重建丟失的3D信息。

　　從2D到3D，有如下幾種常用的方法：

　?、?基于LSS的單目方法

　　這是根據(jù)2D特征預(yù)測每個像素的深度分布，而立體視覺方法沿著成本體構(gòu)建的截頭錐體發(fā)散2D特征。從3D到2D的變換是基于單應(yīng)矩陣的方法假定3D采樣點是一種稀疏矩陣，通過攝像機內(nèi)外參數(shù)構(gòu)建的投影矩陣將其投影到2D平面，從而拼接成圖。

　?、?基于純網(wǎng)絡(luò)的方法

　　與以往的算法相比，利用神經(jīng)網(wǎng)絡(luò)進行二維BEV空間變換可以獲得更好的視覺效果。而其中，基于純網(wǎng)格的BEV方法可以使用MLP或transformer的方法進行隱式建模，從而構(gòu)建整個3D空間到2D平面的投影矩陣。

　　2） 如何在新的融合機制中更好地對齊來自多個傳感器的特征表示；

　　BEV的傳感器融合算法最直接的設(shè)計是將攝像機和激光雷達的兩組特征分別連接起來。由于3D空間中的點云與2D域中的點云有精確的對應(yīng)關(guān)系，這就需要保證激光雷達和攝像頭之間實現(xiàn)有效的軟同步和硬同步。

　　BEV融合階段則需要將如上幾種不同的傳感器端數(shù)據(jù)（例如攝像頭、激光雷達、全球?qū)Ш叫l(wèi)星系統(tǒng)、里程計、高清地圖、CAN總線等）進行有效的數(shù)據(jù)融合。該階段需要在BEV空間設(shè)計了一種融合策略，同時從攝像機和激光雷達輸入執(zhí)行3D檢測和跟蹤。特斯拉發(fā)布了系統(tǒng)流水線，用于檢測矢量空間（BEV）中的目標(biāo)和車道線，用于L2高速公路導(dǎo)航和智能召喚。

　　BEV感知背后的要點是從攝像機和激光雷達輸入中學(xué)習(xí)魯棒性和可泛化的特征表示。BEV感知背后的核心問題需要從原始傳感器輸入進行深度估計的實質(zhì)性創(chuàng)新，特別是對于攝像頭分支。由于BEV感知需要攝像機和激光雷達，高質(zhì)量標(biāo)注和2D和3D目標(biāo)之間的精確對齊是此類基準(zhǔn)點的兩個關(guān)鍵評估。這些新提出的基準(zhǔn)通常具有高質(zhì)量的標(biāo)簽；場景多樣性和數(shù)據(jù)量也在很大程度上擴大。對于BEV感知任務(wù)，3D目標(biāo)邊框標(biāo)注和3D分割標(biāo)注至關(guān)重要，高清地圖配置已成為主流趨勢。

　　3） 考慮BEV算法需要具備更強的魯棒性，算法應(yīng)考慮與傳感器姿態(tài)變化或位置進行解耦，并同步實現(xiàn)在各種場景中實現(xiàn)更好的泛化能力；

　　BEV感知中要求在每個數(shù)據(jù)集中都需要針對性的進行訓(xùn)練、數(shù)據(jù)、標(biāo)注等。實際上BEV的整個網(wǎng)格參數(shù)是與攝像機參數(shù)關(guān)聯(lián)的，因此整個BEV的感知過程會對不同的傳感器設(shè)置（攝像機的內(nèi)外參數(shù)如物理位置、重疊區(qū)域、FOV和畸變參數(shù)等）提出不同的需求。同時，如上這些因素都會造成良好性能從一個場景遷移到另一個領(lǐng)域的（極端）困難。因此，重要的方案是要確保BEV網(wǎng)絡(luò)與攝像機參數(shù)進行解耦，使得特征學(xué)習(xí)獨立于內(nèi)外參數(shù)之外，以確保由于路面顛簸和攝像機不穩(wěn)定導(dǎo)致的檢測跳變，不魯棒的問題。

　　4）BEV算法模塊如何以基礎(chǔ)模型為藍本進行性能提升；

　　BEV的感知模型目前已經(jīng)相對固化，目前形成的基礎(chǔ)模型子塊已經(jīng)在很多場景上已經(jīng)得到了廣泛的運用。但是如何選擇適配性更好的基礎(chǔ)模型將會很深刻的影響整個自動駕駛控制的任務(wù)。同時，如果能夠在單BEV模型中構(gòu)建多任務(wù)學(xué)習(xí)機制，也將會更多的影響認(rèn)知領(lǐng)域?qū)?fù)雜場景的協(xié)作處理。

　　總結(jié)

　　智駕系統(tǒng)的感知常規(guī)處理方法中還有很多不被人們重點關(guān)注的部分，比如如何進行Pipelines的并行處理，如何考慮結(jié)合功能設(shè)計場景的將整個前端能力建設(shè)，其中包括識別、重構(gòu)、重定位等重要步驟元素。此外，從成本和性能角度上講，還有一些適配于傳統(tǒng)感知架構(gòu)的優(yōu)化模型，比如如何應(yīng)用已有的攝像頭做更深層次的感知探索（涉及利用非標(biāo)準(zhǔn)同構(gòu)雙目左深度信息識別等）。這類優(yōu)化傳感性能的算法實際還有很多。我們在開發(fā)過程中還可以做進一步的能力探索。

　　編輯：黃飛