自特斯拉在2021 AI Day上提出BEV障礙物感知的思路后，BEV逐漸成為業(yè)界爭相落地的熱點(diǎn)。

但BEV也存在一些待解決問題，比如：

(1) 僅能對真實(shí)世界中類別限定的目標(biāo)進(jìn)行的感知(如圖1.b所示)，如果想得到可行駛區(qū)域、環(huán)島、人行橫道、上方障礙物(如各類紅綠燈或攝像頭懸臂、地庫限高架等)、臨時廣告牌等，需要額外的感知模塊去進(jìn)行處理；

(2) 障礙物僅能用3D框描述，具體的形狀輪廓也丟失了；

(3) 如果行駛環(huán)境中出現(xiàn)沒見過的物體(如圖1.a中右下角的紅色移動廣告牌或者紅綠燈懸臂)，那障礙物檢測也會失效，只能通過多模態(tài)開放場景檢測技術(shù)來彌補(bǔ)這類問題，但是這在目前算力有限的自動駕駛芯片上是無法實(shí)現(xiàn)的。

因此在2022的AI day上特斯拉提出占據(jù)預(yù)測的新思路，成功解決了上述問題。占據(jù)預(yù)測任務(wù)就是將以自車為中心的三維空間劃分成一個個小的體素柵格，然后預(yù)測每個柵格的語義類別。具體效果如圖1.c所示，可以看出占據(jù)預(yù)測可以對整個復(fù)雜世界的所有物體進(jìn)行有效感知，從而有效的解決上述障礙物預(yù)測的問題。

但是現(xiàn)有公開的占據(jù)預(yù)測方法都需要構(gòu)建三維體素級的特征表示，這不可避免地引入大量計(jì)算資源消耗，此外還需要硬件平臺對3D(可變形)卷積或者transformer模塊有較好的支持，這些都阻礙了業(yè)界將占用預(yù)測在實(shí)車上的部署落地。

圖 1. 障礙物檢測與占據(jù)預(yù)測效果對比。受訓(xùn)練數(shù)據(jù)約束，預(yù)測范圍為前后左右40m，上下-1m到5.4m，柵格粒度0.4m。

與使模型變得更大、更復(fù)雜從而取得優(yōu)異性能的趨勢相反，理想的框架應(yīng)該對不同的端上芯片部署友好，并且保持高精度。本著輕量易部署且性能無損甚至還提升的初衷下，大連理工、后摩智能以及阿德萊德聯(lián)合提出了一種簡單輕量的占據(jù)插件，稱之為FlashOCC。

通過在主流占據(jù)方法(BEVDetOcc、FBOcc、UniOcc等)上的驗(yàn)證，證明了FlashOCC在部署顯存需求、推理時間、訓(xùn)練耗時以及模型精度上都取得了最優(yōu)的權(quán)衡，并且對各類端上芯片部署友好。

論文地址：https://arxiv.org/abs/2311.12058

代碼鏈接：https://github.com/Yzichen/FlashOCC

內(nèi)容簡介

方法架構(gòu)：

圖 2插件概述以及綜合性能比對

FlashOcc以極優(yōu)的精度完成了實(shí)時環(huán)視3D占用預(yù)測，代表了該領(lǐng)域的開創(chuàng)性貢獻(xiàn)。此外，它還展示了跨不同車載平臺部署的優(yōu)越性，因?yàn)?strong>不需要昂貴的體素級特征處理，從而避免了transformer或 3D（可變形）卷積算子。FlashOcc通過2類替換對現(xiàn)有基于體素級3D特征的占據(jù)任務(wù)進(jìn)行提升：

(1) 用2D卷積替換3D卷積;

(2) 用通道到高度變換替換從3D卷積得到的占用預(yù)測，具體如圖1.(a)所示。圖1.(b)則通過圖表詳細(xì)說明了模型精度與速度、推理內(nèi)存消耗以及訓(xùn)練時間等因素之間的權(quán)衡。

雖然FlashOcc專注于以即插即用的方式增強(qiáng)現(xiàn)有模型，但它仍然可以分為五個基本模塊，具體如圖2所示：

(1) 用于提取圖像特征的2D圖像編碼器。

(2) 將2D圖像特征映射到BEV表征的視圖轉(zhuǎn)換模塊。

(3) 修正BEV特征的BEV編碼器。

(4) 預(yù)測每個體素分割標(biāo)簽的占用預(yù)測頭。

(5) 集成歷史信息以提高性能的時間融合模塊(可選)。

圖 3框架圖

實(shí)驗(yàn)表明我們方法在同比條件下都取得了最優(yōu)的性能以及訓(xùn)練及部署資源消耗。

表 1Occ3D-nuSences驗(yàn)證集上的性能

表 2訓(xùn)練及部署消耗說明

下圖對模型預(yù)測進(jìn)行可視化。由于用于訓(xùn)練的數(shù)據(jù)的柵格細(xì)粒度是40cmx40cmx40cm，因此對細(xì)節(jié)的構(gòu)建較為粗糙。但即便如此，可以看到我們的方法可以有效預(yù)測橫跨馬路懸空的紅綠燈，這證明FlashOcc有效的構(gòu)建了高度信息，此外懸空樹木的輪廓預(yù)測也證明了這一點(diǎn)；而圖中表示行人的占據(jù)柵格，在胸口前柵格占據(jù)表示手持手機(jī)、腿后柵格占據(jù)表示后拉行李箱，證明我們方法對細(xì)節(jié)外形捕捉能力；交通錐的準(zhǔn)確預(yù)測證明了小目標(biāo)捕獲能力。

圖 4 可視化。受訓(xùn)練數(shù)據(jù)約束，預(yù)測范圍為前后左右40m，上下-1m到5.4m，柵格粒度0.4m。

總結(jié)與展望

FlashOcc初步探索了性能無損端上部署友好輕量級占用預(yù)測方法，為占據(jù)任務(wù)實(shí)車落地提供技術(shù)原型支撐，精度、效率和內(nèi)存消耗均超越當(dāng)前SOTA。未來進(jìn)一步探索高效的端上可部署的端到端自動駕駛方案將是我們重要的研究方向。

審核編輯：劉清