編者薦語(yǔ)后臺(tái)有同學(xué)詢問(wèn)自動(dòng)駕駛的技術(shù)棧，這里總結(jié)知乎的提問(wèn)與自己的一些認(rèn)識(shí)，對(duì)自動(dòng)駕駛進(jìn)行一定的介紹。自動(dòng)駕駛系統(tǒng)包括環(huán)境感知和定位，行為預(yù)測(cè)和規(guī)劃控制。作為計(jì)算機(jī)視覺(jué)方面的研究人員，這里就只說(shuō)說(shuō)環(huán)境感知方面需要的知識(shí)吧。

1 前言

感知任務(wù)大多涉及算法設(shè)計(jì)，因此文章的介紹也以算法為主線，特別是深度學(xué)習(xí)的算法。此外也會(huì)涉及一些數(shù)據(jù)采集，系統(tǒng)測(cè)試，算法部署以及量產(chǎn)感知系統(tǒng)的分析。

自動(dòng)駕駛中的環(huán)境感知包含了自動(dòng)駕駛和環(huán)境感知兩個(gè)概念。首先，什么是自動(dòng)駕駛呢？下面是維基百科上對(duì)自動(dòng)駕駛汽車(chē)的定義。

自動(dòng)駕駛汽車(chē)，又稱無(wú)人駕駛車(chē)、電腦駕駛車(chē)、無(wú)人車(chē)、自駕車(chē)，為一種需要駕駛員輔助或者完全不需操控的車(chē)輛。作為自動(dòng)化載具，自動(dòng)駕駛汽車(chē)可以不需要人類操作即能感測(cè)其環(huán)境及導(dǎo)航。

上述定義里有幾個(gè)關(guān)鍵詞。首先是汽車(chē)，我們這里所說(shuō)的自動(dòng)駕駛技術(shù)涉及的是汽車(chē)，而不是飛機(jī)火車(chē)之類的交通工具。其次是感知環(huán)境和導(dǎo)航，也就是說(shuō)自動(dòng)駕駛汽車(chē)可以自主的采集和理解周邊環(huán)境信息，并根據(jù)設(shè)定的目的地進(jìn)行決策和行進(jìn)。最后是需要駕駛員輔助或者完全不需操控，這里涉及到自動(dòng)駕駛系統(tǒng)的分級(jí)，是一個(gè)非常重要的概念，下面稍微展開(kāi)說(shuō)一下。

自動(dòng)駕駛技術(shù)不是從0到1的質(zhì)變，而是一個(gè)漸變迭代的過(guò)程。關(guān)于自動(dòng)駕駛系統(tǒng)的分級(jí)，目前最常用的標(biāo)準(zhǔn)是由SAE（美國(guó)汽車(chē)工程師學(xué)會(huì)）制定的。不同機(jī)構(gòu)制定的標(biāo)準(zhǔn)會(huì)略有不同，但是基本的概念是一致的。下表對(duì)L0（人工駕駛）到L5（完全自動(dòng)駕駛）六個(gè)級(jí)別進(jìn)行了總結(jié)。這些定義可能有些難懂，但是與車(chē)輛上不同的功能結(jié)合起來(lái)就容易理解了。比如說(shuō)，汽車(chē)中現(xiàn)在標(biāo)配的防抱死制動(dòng)系統(tǒng)（ABS）和車(chē)身電子穩(wěn)定系統(tǒng)（ESP）就都屬于L1級(jí)別。此外，定速巡航、自適應(yīng)巡航（ACC）以及車(chē)道保持輔助 （LKA）也屬于L1級(jí)別的范疇，因?yàn)樗鼈冎荒茉谝粋€(gè)方向上（橫向或縱向）操控車(chē)輛。如果同時(shí)實(shí)現(xiàn)了 ACC和LKA，那么這輛車(chē)就來(lái)到了L2級(jí)別。對(duì)于L2及其以下級(jí)別的系統(tǒng)來(lái)說(shuō)，車(chē)輛的駕駛員都需要監(jiān)控周?chē)h(huán)境并隨時(shí)做好接管的準(zhǔn)備。這一點(diǎn)非常關(guān)鍵，這也是很多L2級(jí)別的車(chē)輛出現(xiàn)交通事故的主要原因，也就是駕駛員對(duì)系統(tǒng)期望過(guò)高，在駕駛過(guò)程中沒(méi)有時(shí)刻保持對(duì)周邊環(huán)境的關(guān)注。如果一個(gè)車(chē)輛配備了某種Pilot系統(tǒng)，比如Traffic Jam Pilot，那么就達(dá)到了L3級(jí)別。這就意味著，在某些特定的場(chǎng)景下（比如高速公路，堵車(chē)等），駕駛員不需要時(shí)刻監(jiān)控當(dāng)前路況，可以松手，松腳，松眼，只需要在系統(tǒng)提示時(shí)接管車(chē)輛即可。在這種限定的情況下，駕駛員已經(jīng)成為了乘客。對(duì)于L4級(jí)別的系統(tǒng)，目前只存在于演示車(chē)輛中。我們平時(shí)看到的諸如“某廠家的車(chē)輛在某道路上實(shí)現(xiàn)了XX小時(shí)無(wú)人工接管的自動(dòng)行駛”，這都屬于L4級(jí)別的范疇，與L3最大的區(qū)別是不需要人工接管了，在限定場(chǎng)景下可以實(shí)現(xiàn)車(chē)輛的完全自主行駛。L5級(jí)別就是把“限定場(chǎng)景”這個(gè)條件也去掉了。這個(gè)級(jí)別的車(chē)輛最大的特點(diǎn)就是沒(méi)有方向盤(pán)了，所有人都是乘客，車(chē)輛的所有操控權(quán)都屬于系統(tǒng)。

了解了自動(dòng)駕駛是什么以后，我們?cè)賮?lái)看看自動(dòng)駕駛系統(tǒng)是怎么實(shí)現(xiàn)的。一般來(lái)說(shuō)，自動(dòng)駕駛系統(tǒng)包含感知，決策和控制這三個(gè)主要模塊。粗略來(lái)說(shuō)，這三個(gè)模塊對(duì)應(yīng)生物系統(tǒng)的眼睛，大腦和四肢。感知系統(tǒng)（眼睛）負(fù)責(zé)了解周?chē)系K物和道路的信息，決策系統(tǒng)（大腦）根據(jù)周?chē)沫h(huán)境以及設(shè)定的目標(biāo)決定下一步需要執(zhí)行的動(dòng)作，而控制系統(tǒng)（四肢）則負(fù)責(zé)執(zhí)行這些動(dòng)作，比如轉(zhuǎn)向，加速，剎車(chē)等。進(jìn)一步來(lái)說(shuō)，感知系統(tǒng)里又包括了環(huán)境感知和車(chē)輛定位兩個(gè)任務(wù)。環(huán)境感知負(fù)責(zé)檢測(cè)各種移動(dòng)和靜止的障礙物（比如車(chē)輛，行人，建筑物等），以及收集道路上的各種信息（比如可行駛區(qū)域，車(chē)道線，交通標(biāo)志，紅綠燈等），這里需要用到的主要是各種傳感器（比如攝像頭，激光雷達(dá)，毫米波雷達(dá)等）。車(chē)輛定位則根據(jù)環(huán)境感知得到的信息來(lái)確定車(chē)輛在環(huán)境中所處位置，這里需要高精度地圖，以及慣性導(dǎo)航（IMU）和全球定位系統(tǒng)（GPS）的輔助。

本專欄主要關(guān)注環(huán)境感知系統(tǒng)，重點(diǎn)會(huì)介紹攝像頭，激光雷達(dá)和毫米波雷達(dá)這三種主要的傳感器，以及它們的融合。不同的傳感器有著不同的特性，各自都有優(yōu)缺點(diǎn)，因此也適用于不同的任務(wù)。攝像頭是感知系統(tǒng)中最常用的傳感器，優(yōu)勢(shì)在于能夠提取豐富的紋理和顏色信息，因此適用于目標(biāo)的分類。但是其缺點(diǎn)在于對(duì)于距離的感知能力較弱，并且受光照條件影響較大。激光雷達(dá)在一定程度上彌補(bǔ)了攝像頭的缺點(diǎn)，可以精確的感知物體的距離和形狀，因此適用于中近距的目標(biāo)檢測(cè)和測(cè)距。但是其缺點(diǎn)在于成本較高，量產(chǎn)難度大，感知距離有限，而且同樣受天氣影響較大。毫米波雷達(dá)具有全天候工作的特點(diǎn)，可以比較精確的測(cè)量目標(biāo)的速度和距離，感知距離較遠(yuǎn)，價(jià)格也相對(duì)較低，因此適用于低成本的感知系統(tǒng)或者輔助其它的傳感器。但是缺點(diǎn)在于高度和橫向的分辨率較低，對(duì)于靜止物體的感知能力有限。

環(huán)境感知系統(tǒng)中的多種傳感器

2 技術(shù)概覽

上一節(jié)中提到了，環(huán)境感知系統(tǒng)的硬件基礎(chǔ)是多種傳感器以及它們的組合，而軟件方面的核心則是感知算法?？偟膩?lái)說(shuō)，感知算法要完成兩個(gè)主要的任務(wù)：物體檢測(cè)和語(yǔ)義分割。前者得到的是場(chǎng)景中重要目標(biāo)的信息，包括位置，大小，速度等，是一種稀疏的表示；而后者得到的是場(chǎng)景中每一個(gè)位置的語(yǔ)義信息，比如可行駛，障礙物等，是一種稠密的表示。這兩個(gè)任務(wù)的結(jié)合被稱為全景分割，這也是自動(dòng)駕駛和機(jī)器人領(lǐng)域最近興起的一個(gè)概念。對(duì)于物體目標(biāo)（比如車(chē)輛，行人），全景分割輸出其分割Mask，類別和實(shí)例ID；對(duì)于非物體目標(biāo)（比如道路，建筑物），則只輸出其分割Mask和類別。環(huán)境感知系統(tǒng)的終極目標(biāo)就是要得到車(chē)輛周邊三維空間中全景分割結(jié)果。當(dāng)然對(duì)于不同級(jí)別，不同場(chǎng)景下的自動(dòng)駕駛應(yīng)用來(lái)說(shuō)，需要的感知輸出不也盡相同。

自動(dòng)駕駛駕駛技術(shù)這一輪的爆發(fā)很大程度上來(lái)源于深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得的突破，而這個(gè)突破首先是從圖像分類和圖像中的物體檢測(cè)開(kāi)始的。在自動(dòng)駕駛環(huán)境感知中，深度學(xué)習(xí)最先取得應(yīng)用的任務(wù)是單張二維圖像中的物體檢測(cè)。這個(gè)領(lǐng)域中的經(jīng)典算法，比如Faster R-CNN，YOLO，CenterNet等都是不同時(shí)期視覺(jué)感知算法的主流。但是，車(chē)輛不能僅僅依靠一張二維圖像上的檢測(cè)結(jié)果來(lái)行駛。因此，為了滿足自動(dòng)駕駛應(yīng)用的需求，這些基礎(chǔ)的算法還需要進(jìn)行進(jìn)一步的擴(kuò)展，其中最重要的就是融合時(shí)序信息和三維信息。前者衍生出了物體跟蹤算法，后者衍生出了單目/雙目/多目的三維物體檢測(cè)算法。以此類推，語(yǔ)義分割包含了圖像語(yǔ)義分割，視頻語(yǔ)義分割，稠密深度估計(jì)。

為了得到更加精確的三維信息，激光雷達(dá)也一直是自動(dòng)駕駛感知系統(tǒng)的重要組成部分，尤其是對(duì)于L3/4級(jí)別的應(yīng)用。激光雷達(dá)的數(shù)據(jù)是相對(duì)稀疏的點(diǎn)云，這與圖像稠密的網(wǎng)格結(jié)構(gòu)差別非常大，因此圖像領(lǐng)域常用的算法需要經(jīng)過(guò)一定的改動(dòng)才能應(yīng)用到點(diǎn)云數(shù)據(jù)。點(diǎn)云感知的任務(wù)也可以按照物體檢測(cè)和語(yǔ)義分割來(lái)劃分，前者輸出三維的物體邊框，而后者輸出點(diǎn)云中每個(gè)點(diǎn)的語(yǔ)義類別。為了利用圖像領(lǐng)域的算法，點(diǎn)云可以轉(zhuǎn)換為鳥(niǎo)瞰視圖（Bird‘s Eye View）或者前視圖（Range View）下的稠密網(wǎng)格結(jié)構(gòu)。此外，也可以改進(jìn)深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN），使其適用于稀疏的點(diǎn)云結(jié)構(gòu)，比如PointNet或者Graph Neural Network。

毫米波雷達(dá)由于其全天候工作，測(cè)速準(zhǔn)確，以及低成本的特點(diǎn)，也被廣泛的用于自動(dòng)駕駛感知系統(tǒng)中，不過(guò)一般應(yīng)用在L2級(jí)別的系統(tǒng)中，或者在L3/4級(jí)系統(tǒng)中作為其它傳感器的輔助。毫米波雷達(dá)的數(shù)據(jù)一般來(lái)說(shuō)也是點(diǎn)云，但是比激光雷達(dá)的點(diǎn)云更為稀疏，空間分辨率也更低。相比于攝像頭和激光雷達(dá)，毫米波雷達(dá)的數(shù)據(jù)密度非常低，因此一些傳統(tǒng)方法（比如聚類和卡爾曼濾波）表現(xiàn)的并不比深度學(xué)習(xí)差很多，而這些傳統(tǒng)方法的計(jì)算量相對(duì)較低。最近幾年來(lái)，開(kāi)始有研究者從更底層的數(shù)據(jù)出發(fā)，用深度學(xué)習(xí)代替經(jīng)典的雷達(dá)信號(hào)處理，通過(guò)端對(duì)端的學(xué)習(xí)取得了近似激光雷達(dá)的感知效果。

單個(gè)傳感器的感知能力總是有限的，如果把系統(tǒng)成本先放在一邊，多傳感器融合的方案自然更好的選擇。一般來(lái)說(shuō)，攝像頭是感知系統(tǒng)的必備的傳感器，為了得到深度信息和360度的視場(chǎng)，可以采用雙目或者多目融合的方案。為了更準(zhǔn)確的獲得三維和運(yùn)動(dòng)信息，攝像頭也可以與激光雷達(dá)和毫米波雷達(dá)進(jìn)行融合。這些傳感器的坐標(biāo)系不同，數(shù)據(jù)形式不同，甚至采集頻率也不同，因此融合算法的設(shè)計(jì)并不是一件簡(jiǎn)單的任務(wù)。粗略來(lái)說(shuō)，融合可以在決策層（融合不同傳感器的輸出）或者數(shù)據(jù)層（融合不同傳感器的數(shù)據(jù)或者中間結(jié)果）來(lái)進(jìn)行。數(shù)據(jù)層融合理論上說(shuō)是更好的方法，但是對(duì)傳感器之間的空間和時(shí)間對(duì)齊要求會(huì)更高。

以上大致介紹了環(huán)境感知中所涉及的算法部分，算法部分的其它一些內(nèi)容，比如多目相機(jī)的融合，多傳感器的空間和時(shí)間對(duì)齊，后續(xù)也會(huì)進(jìn)行介紹。

除了核心算法設(shè)計(jì)以外，感知系統(tǒng)中其它重要的部分還包括數(shù)據(jù)的采集和標(biāo)注，算法的測(cè)試和迭代，以及系統(tǒng)的部署等，這些內(nèi)容之后專欄中也會(huì)推出系列文章進(jìn)行分析。

3 行業(yè)現(xiàn)狀

了解了感知系統(tǒng)中所包含的技術(shù)之后，下一步我們來(lái)看看這些傳感器在目前的量產(chǎn)或者演示車(chē)輛中的應(yīng)用現(xiàn)狀。

粗略來(lái)說(shuō)，自動(dòng)駕駛公司可以分為兩大類別。一類是傳統(tǒng)的車(chē)企（比如國(guó)外的大眾，寶馬，通用，豐田等，國(guó)內(nèi)的長(zhǎng)城，吉利等），新能源車(chē)企（比如特斯拉，蔚來(lái)，小鵬等）和Tier1（比如國(guó)外老牌的博世，大陸，安波福）等，以及國(guó)內(nèi)新興的華為，大疆等）。這類公司的首要目標(biāo)是量產(chǎn)，一般以L2級(jí)別方案為主，目前也在向L3級(jí)別擴(kuò)展。另外一類是一些方案提供商或者初創(chuàng)公司（比如Waymo，Mobileye，Pony.AI，Momenta，TuSimple等）。這些公司致力于發(fā)展L4級(jí)別的自動(dòng)駕駛技術(shù)，面向的是諸如Robotaxi，Robotruck和Robobus之類的應(yīng)用。

對(duì)于不同的自動(dòng)駕駛級(jí)別，不同的應(yīng)用場(chǎng)景，傳感器的配置方案也不盡相同。對(duì)于L2級(jí)別的應(yīng)用，比如緊急制動(dòng)和自適應(yīng)巡航，可以只采用前視單目攝像頭或者前向毫米波雷達(dá)。如果需要變道輔助功能，則需要增加傳感器對(duì)相鄰車(chē)道進(jìn)行感知。常用的方案是在車(chē)頭和車(chē)尾增加多個(gè)角雷達(dá)，以實(shí)現(xiàn)360度的目標(biāo)檢測(cè)能力。對(duì)于L3級(jí)別的應(yīng)用，需要在特定場(chǎng)景下實(shí)現(xiàn)車(chē)輛的完全自主駕駛，因此需要擴(kuò)展車(chē)輛對(duì)周邊環(huán)境的感知能力。這時(shí)就需要增加激光雷達(dá)，側(cè)視和后視的攝像頭和毫米波雷達(dá)，以及GPS，IMU和高精度地圖來(lái)輔助車(chē)輛定位。到了L4級(jí)別以后，由于在特定場(chǎng)景下不需要人工接管了，傳感器就不僅需要高精確度，還需要高可靠性。這就需要增加傳感器的冗余性，也就是說(shuō)需要備用系統(tǒng)。

下面我們來(lái)看幾個(gè)具體的案例。

首先是特斯拉近期推出的純視覺(jué)方案。雖然一提起自動(dòng)駕駛，很多人腦子里最先想到的就是特斯拉，但是特斯拉其實(shí)也只是L2級(jí)別（或者說(shuō)高級(jí)L2）的自動(dòng)駕駛系統(tǒng)，因?yàn)檫€是需要駕駛員隨時(shí)準(zhǔn)備好接管車(chē)輛。如果你只在L2級(jí)別的系統(tǒng)里橫向?qū)Ρ?，那么特斯拉的方案還是很有競(jìng)爭(zhēng)力的。這個(gè)系統(tǒng)只采用了視覺(jué)傳感器，包括了安裝在車(chē)身不同位置，多種焦距和視野范圍的攝像頭。這些攝像頭可以覆蓋360度的視野，并且有一定的冗余性。特斯拉在AI Day上展示的基于深度學(xué)習(xí)的的多攝像頭融合算法，個(gè)人覺(jué)得還是非常值得研究一下的，后續(xù)也會(huì)推出文章進(jìn)行詳細(xì)分析。

特斯拉的純視覺(jué)傳感器配置（L2級(jí)別）

2017年夏天，奧迪發(fā)布了第四代A8，其中最大的亮點(diǎn)就是搭載了Traffic Jam Pilot（TJP）系統(tǒng)。前文提到了，TJP系統(tǒng)已經(jīng)屬于L3的范疇，因此奧迪A8可以說(shuō)是全球首個(gè)“量產(chǎn)”的L3級(jí)系統(tǒng)。為什么加上引號(hào)呢，這是因?yàn)樵摴δ茉诮桓兜能?chē)輛中一直沒(méi)有開(kāi)啟，用戶只能在奧迪自己的演示車(chē)中體驗(yàn)。奧迪官方的解釋是法規(guī)方面的問(wèn)題，但其實(shí)最核心的原因還是技術(shù)方面的，也就是L3中的所謂的“接管悖論”問(wèn)題。在60公里時(shí)速以下的結(jié)構(gòu)化道路堵車(chē)場(chǎng)景中，TJP系統(tǒng)允許駕駛員低頭玩手機(jī)或者睡覺(jué)。這時(shí)如果出現(xiàn)突發(fā)狀況，可能就會(huì)出現(xiàn)接管不及的情況。雖然奧迪在2019年底取消了L3級(jí)自動(dòng)駕駛項(xiàng)目，但是這個(gè)探索也為后續(xù)的L4和各種高級(jí)L2系統(tǒng)的研發(fā)提供了寶貴的經(jīng)驗(yàn)。更多的細(xì)節(jié)這里就不展開(kāi)說(shuō)了，我們下面來(lái)看看這套系統(tǒng)中傳感器方案。奧迪A8全車(chē)共有12個(gè)超聲波傳感器、4個(gè)全景攝像頭、1個(gè)前置攝像頭、4個(gè)中程雷達(dá)、1個(gè)遠(yuǎn)程雷達(dá)、1個(gè)紅外攝像機(jī)。此外，奧迪A8首次搭載了一個(gè)4線的車(chē)規(guī)級(jí)激光雷達(dá)，并且配備中央駕駛輔助系統(tǒng)控制單元（zFAS），這些都是L3級(jí)自動(dòng)駕駛系統(tǒng)的必備選項(xiàng)。

奧迪A8的傳感器配置（L3級(jí)別）

從L2到L3，再到L4，傳感器方面最大的變化就是增加了激光雷達(dá)，而且數(shù)量逐漸增加。比如，在Waymo的傳感器方案中，除了前向的激光雷達(dá)外，還增加了后向和車(chē)頂?shù)?60度激光雷達(dá)。而且激光雷達(dá)的線束數(shù)量顯著提高，可以達(dá)到300米左右的感知范圍。除了Waymo，其它各家公司的L4系統(tǒng)都不可避免的包含了一個(gè)或者多個(gè)激光雷達(dá)。從目前的技術(shù)發(fā)展趨勢(shì)來(lái)看，實(shí)現(xiàn)L4級(jí)別的自動(dòng)駕駛主要還是靠增加傳感器，從而大幅提升對(duì)駕駛路況和環(huán)境的感知能力，而這其中最重要的就是激光雷達(dá)。到了L4級(jí)別，車(chē)輛在限定場(chǎng)景下完全自主行駛，這時(shí)99%的準(zhǔn)確度就不夠了，而需要的是99.99999%的準(zhǔn)確度，而激光雷達(dá)就是小數(shù)點(diǎn)后幾位的保障。這種保障來(lái)自激光雷達(dá)與其它各種傳感器之間的配合，而不僅僅是簡(jiǎn)單的堆疊，因此高效精確的傳感器融合在L4級(jí)別的系統(tǒng)中起到至關(guān)重要的作用。

Waymo的傳感器配置（L4級(jí)別）

以上只是簡(jiǎn)單的介紹了L2/3/4級(jí)別中傳感器配置的一些典型案例，專欄會(huì)在后續(xù)的文章中詳細(xì)分析不同公司的自動(dòng)駕駛技術(shù)路線，以及相應(yīng)的傳感器配置和感知系統(tǒng)設(shè)計(jì)。

審核編輯 ：李倩