編輯注：NVIDIA 自動駕駛實驗室系列視頻，將以工程技術(shù)為重點的視角關(guān)注實現(xiàn)自動駕駛汽車的各個挑戰(zhàn)以及 NVIDIA DRIVE AV 軟件團(tuán)隊如何應(yīng)對這些問題。

自動泊車輔助系統(tǒng)在感知障礙物時必須克服一些獨(dú)特的挑戰(zhàn)。目標(biāo)車輛包含感知車輛周圍環(huán)境的傳感器。在泊車過程中，目標(biāo)車輛必須靠近動態(tài)障礙物，如行人和其他車輛，以及靜態(tài)障礙物，如柱子和電線桿等。為了適應(yīng)泊車位，還可能需要穿過較低的障礙物，如車輪護(hù)欄和路緣石。

觀看NVIDIA DRIVE Labs視頻，可以深入了解自動駕駛汽車面臨的挑戰(zhàn)以及 NVIDIA DRIVE 團(tuán)隊如何應(yīng)對這些挑戰(zhàn)。視頻中介紹了早期網(wǎng)格融合（early grid fusion，簡稱 EGF），這是一種在自動泊車輔助中增強(qiáng)近距離避障的新技術(shù)。

NVIDIA DRIVE Labs 第 29 期：增強(qiáng)自動泊車在狹小空間中的避障能力

0000

在狹小空間停車的難題

0035

什么是 Early Grid Fusion（EGF）泊車?

0000

360 度環(huán)視檢測

0042

4 厘米網(wǎng)格的精確定位

0000

停車地鎖等情況下的高度估算

0027

NVIDIA 的自動泊車輔助功能

現(xiàn)有的停車障礙感知解決方案依賴于超聲波傳感器或魚眼攝像頭。超聲波傳感器安裝在前后保險杠上，通常不能覆蓋車輛側(cè)面。因此，該系統(tǒng)無法感知目標(biāo)車輛的側(cè)面，尤其是對于動態(tài)障礙物。

另一方面，魚眼相機(jī)在低能見度、弱光和惡劣天氣條件下性能下降。

NVIDIA DRIVE 平臺配備了一套攝像頭、雷達(dá)和超聲波傳感器，可最大限度地減少盲區(qū)，并在所有操作條件下最大化感知冗余。EGF 使用機(jī)器學(xué)習(xí)的多個傳感器輸入的早期融合來提供準(zhǔn)確、高效和穩(wěn)健的近距離 3D 障礙物感知。

圖 1. EGF 使用 NVIDIA 自動泊車輔助系統(tǒng)進(jìn)行泊車時檢測停放的汽車是否為障礙物

早期網(wǎng)格融合概述

為了更好地理解 EGF 背后的創(chuàng)新技術(shù)，可以看一下它的 DNN 架構(gòu)和輸出/輸入表示。

輸出：高度圖表示

EGF 輸出一個網(wǎng)格分辨率為 4cm 的高度圖。高度圖中的每個像素都有一個浮點值，表示相對于本地地面的高度。

在圖 2 中，綠色高亮面板是 EGF DNN 的輸出。淺藍(lán)色代表地面。黃色代表較低的障礙物，例如后面的路緣石。亮紅色表示高障礙物的輪廓，例如，停放汽車的圓弧 L 形輪廓和目標(biāo)車輛后面的樹的點。亮紅色輪廓后面的暗紅色區(qū)域表示高障礙物后面的潛在遮擋區(qū)域。

圖 2. EGF 輸入和輸出可視化

這種表示方式使 EGF 能夠捕捉到周圍世界的豐富信息。高分辨率網(wǎng)格可以表示目標(biāo)車輛左后和右后的圓角。捕捉圓角對于泊車規(guī)劃器有足夠的空間來在狹小空間中停放的兩輛車之間執(zhí)行泊車操作是至關(guān)重要的。

通過每個像素的不同高度值，可以區(qū)分車輛有足夠間隙通過的路緣和汽車必須避讓的路緣桿。

輸入：超聲波和攝像頭

大多數(shù)多傳感器融合感知解決方案都是在檢測層面上運(yùn)行的后期融合系統(tǒng)。在后期融合階段，傳統(tǒng)的通過三角定位法獲得的超聲波檢測數(shù)據(jù)和來自攝像頭的多邊形檢測數(shù)據(jù)相融合，通常使用手工制定的融合規(guī)則來進(jìn)行。

相比之下， EGF 使用早期融合方法。來自傳感器的低電平信號直接輸入到 DNN 中，通過數(shù)據(jù)驅(qū)動的方法學(xué)習(xí)傳感器融合。

對于超聲波傳感器， EGF 進(jìn)入原始包絡(luò)界面，提供亞厘米精度的反射強(qiáng)度。使用超聲波傳感器的外部位置和內(nèi)部波束特性，將這些包絡(luò)信號投影到平面圖中（圖 3 左下角）。如圖 2 中粉色高粱米面板所示，這些超聲波圖捕捉了比三角定位檢測更多的信息。這使得 EGF 能夠進(jìn)行高度檢測。

圖 3. EGF-DNN 架構(gòu)圖

對于攝像頭傳感器，EGF 與 MLMCF 共享圖像編碼器主干——用于高速駕駛的 NVIDIA 多任務(wù)多攝像頭感知主干。首先，我們通過 CNN 層處理圖像特征。然后，我們使用每個攝像頭的學(xué)習(xí)轉(zhuǎn)換將特征從圖像空間提升到鳥瞰圖空間（圖 3 右上角框）。

然后在編碼器網(wǎng)絡(luò)中融合超聲波和攝像頭特征圖，并從組合特征中解碼高度圖（圖 3 右側(cè)）。

結(jié)論

EGF 是一種基于機(jī)器學(xué)習(xí)的創(chuàng)新感知組件，可增加自動泊車的安全性。通過使用多模態(tài)原始傳感器信號的早期融合，EGF 為近距離避障建立了高度信任。

了解更多有關(guān) NVIDIA 正在構(gòu)建的軟件功能，點擊“閱讀原文”查看NVIDIA DRIVE Labs視頻系列。

掃描下方海報二維碼，在 8 月 8日聆聽NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。