很多人都有這樣的疑問--基于BEV(Birds Eye View)的自動駕駛方案是什么？這個問題，目前學(xué)術(shù)界還沒有統(tǒng)一的定義，但從我的開發(fā)經(jīng)驗上，嘗試做一個解釋：以鳥瞰視角為基礎(chǔ)形成的端到端的自動駕駛算法和系統(tǒng)。 ?

引言

感知模塊是最為重要的自動駕駛模塊之一，也是最為復(fù)雜的模塊。一般的感知模塊包含障礙物目標檢測，車道線語義分割，可行駛區(qū)域分割等等。在BEV出現(xiàn)之后，整個自動駕駛感知模塊趨向形成統(tǒng)一，簡潔，高效的端到端結(jié)構(gòu)。不光是感知模塊，基于BEV進行的規(guī)劃決策也是學(xué)術(shù)界研究的方向。下面將結(jié)合幾篇頂會論文來看BEV給自動駕駛技術(shù)帶來的改變。 ?

BEV統(tǒng)一了多模態(tài)數(shù)據(jù)融合的尺度

典型論文：HDMapNet: A Local Semantic Map Learning and EvaluationFramework ? 自動駕駛感知模塊中對是否要使用激光雷達的問題分成了兩派。一種是堅定的純視覺技術(shù)路線，比如特拉斯等。還有一種是國內(nèi)的多傳感器數(shù)據(jù)融合路線。在沒有接觸到BEV之前，我是堅定的純視覺路線的擁護者，但是在研究了一些論文后，我的觀點逐步改變。傳感器融合路線的機會在前融合或者中融合層面，而目前市面上的多模態(tài)數(shù)據(jù)融合方案多為后融合或者結(jié)果層面的融合。就是在生硬的融合方式下，各個傳感器的缺點形成了木桶效應(yīng)。 ?

? BEV的出現(xiàn)給多模態(tài)數(shù)據(jù)提供了一個統(tǒng)一尺度的可能，比如在HDMapNet論文中，主要目的是基于多模態(tài)數(shù)據(jù)采集制作低廉高效的高精地圖。作者設(shè)計了多傳感器的動態(tài)可插拔結(jié)構(gòu)。把所有傳感器的數(shù)據(jù)或特征統(tǒng)一到BEV視角下，這樣的統(tǒng)一尺度理論上來說天然成立。減少傳感器會影響檢測的效果，但是不會影響感知系統(tǒng)的可使用性，是1+1>2的正向結(jié)果。 ?

BEV帶來了簡潔高效的感知模塊

典型論文：FIERY: Future Instance Prediction in Bird’s-Eye View from Surround Monocular Cameras ? 現(xiàn)有的自動駕駛感知模塊中，包含了2d/3d目標檢測，語義分割，全景分割，多目標跟蹤，軌跡預(yù)測等。整個感知模塊是又臭又長，需要的算法開發(fā)/算法維護/模型迭代等人員數(shù)量眾多。而BEV的出現(xiàn)，讓更加簡潔高效的感知模塊成為可能。 ?

? fiery的論文和代碼有幸研究了一段時間，結(jié)構(gòu)設(shè)計的巧妙和統(tǒng)一任務(wù)的架構(gòu)一下子打開我新世界的大門。這篇文章使用的傳感器只有攝像頭，也就是純視覺方案。fiery是在lift論文的基礎(chǔ)上進行的改進，這篇論文將多個相機數(shù)據(jù)通過神經(jīng)網(wǎng)絡(luò)進行了基于BEV的投影。在一個算法框架下實現(xiàn)了3d目標檢測(無高度h)，障礙物實例分割，車道線分割，可行駛區(qū)域分割，多目標跟蹤，障礙物軌跡預(yù)測的功能。維護上述模塊可能要大幾十的團隊，但是現(xiàn)在維護fiery可能十多人就夠了(我離失業(yè)越來越近了，哈哈)。這篇文章的缺點是耗時太長(8fps)，主要是用于未來軌跡預(yù)測的GRU網(wǎng)絡(luò)部分，要3幀一起輸入網(wǎng)絡(luò)。 ?

BEV促進端到端的自動駕駛框架發(fā)展

典型論文1：MP3: A Unified Model to Map, Perceive, Predict and Plan 典型論文2：SelfD: Self-Learning Large-Scale Driving Policies From the Web ? 從apollo等開源的自動駕駛框架上看，自動駕駛技術(shù)常被分為感知模塊，預(yù)測模塊，規(guī)劃決策模塊，控制模塊等。各個模塊通過消息機制或者共享內(nèi)存的方式進行交互，保持相對的獨立。此外這樣的架構(gòu)雖順應(yīng)了當下的自動駕駛技術(shù)發(fā)展，但不一定就是合理的，比如強解耦造成的魯棒性變差等問題。無論是工業(yè)界和學(xué)術(shù)界都在期盼一個端到端的自動駕駛框架的出現(xiàn)。 ?

? BEV下的自動駕駛技術(shù)發(fā)展很可能就是端到端的自動駕駛框架的契機。 ? SelfD里作者利用BEV視角統(tǒng)一了大量行車視頻的數(shù)據(jù)尺度，并進行了規(guī)劃和決策模塊的模型學(xué)習。 ?

? MP3中，將地圖，感知，預(yù)測和規(guī)劃設(shè)計成一個統(tǒng)一模塊，形成了一個接近端到端的自動駕駛框架。 ?

BEV的藥引子--ViT(vision transform)

典型論文：Cross-view Transformers for real-time Map-view Semantic Segmentation ? 2022年ViT(vision transform)如何應(yīng)用在自動駕駛?cè)蝿?wù)上？ ? 經(jīng)過上面幾個層次的分析之后，你是否看到了BEV自動駕駛方案的未來了呢？在我看來BEV技術(shù)是形成端到端自動駕駛框架的契機，但是還需要一個藥引子——ViT(vision transform)。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在不同尺度/類型的特征的融合上，處理困難(序列特征需要rnn系列，空間特征需要cnn)。但是端到端的自動駕駛框架恰恰就需要融合不同種類的，比如將序列特征和空間特征的融合。來自NLP領(lǐng)域的attention機制提供多類型特征編碼融合的統(tǒng)一方法。 ? cross-view transformers的方法是針對純視覺多視角下的地圖生成和障礙物感知任務(wù)，設(shè)計一個有效的注意力機制網(wǎng)絡(luò)。直白點就是用于BEV地圖生成和障礙物感知的注意力機制網(wǎng)絡(luò)。目前代碼已經(jīng)開源，從論文公布的結(jié)果看，無論在精度還是速度上都達到SOTA。 ?

總結(jié)

據(jù)我的了解，目前已經(jīng)有很多公司啟動了基于BEV的自動駕駛框架研發(fā)。這兩年的頂會論文上看，這個方案下的相關(guān)技術(shù)會越來越成熟，廉價的自動駕駛技術(shù)方案離我們越來越近了。最后，如果真的如預(yù)期這樣發(fā)展，現(xiàn)在的自動駕駛求職熱潮可能會帶來以后的自動駕駛裁員熱潮。

編輯：黃飛

?