本期，將與大家分享百度Apollo L4級別自動(dòng)駕駛系統(tǒng)在高精地圖方面的進(jìn)展和相關(guān)的內(nèi)容。話不多說，歡迎各位開發(fā)者一起進(jìn)入進(jìn)階課程第6期。

SAE的自動(dòng)駕駛分級

美國國家交通安全管理局將自動(dòng)駕駛分為五個(gè)等級。SAE（SAE International, Society of Automotive Engineers 國際自動(dòng)機(jī)工程師學(xué)會(huì)）將自動(dòng)駕駛分成六個(gè)等級，國內(nèi)廣泛接受SAE的六等級分類方法。

在SAE的六等級分類方法中，L0級別是人類駕駛，L1到L3級別是輔助駕駛，L3以上是自動(dòng)駕駛。

在L1—L3輔助駕駛級別，常見的很多車型都已經(jīng)配備其中的一些功能，比如偏離預(yù)警、碰撞預(yù)警和自適應(yīng)巡航等。

L3級別以上的自動(dòng)駕駛研發(fā)是現(xiàn)在Apollo正在做的事情，百度內(nèi)部本身分L3和L4。

L3級別基本上已達(dá)到一定程度上的自動(dòng)駕駛，它不需要車輛駕駛員來關(guān)注環(huán)境，只需要在緊急情況下接管；L4級別則可在限定區(qū)域下完全做到自動(dòng)駕駛。

L5級別可能是比較遙遠(yuǎn)的狀態(tài)?，F(xiàn)在有些廠商宣稱L5級別自動(dòng)駕駛可以做到完全沒有人員操控，車輛能處理所有的情況。

但這需要依賴于技術(shù)能夠發(fā)展到非常好的階段，到時(shí)候所有的道路情況車輛才能理解和處理。

從分類等級里面可以看到，L3級別以下不需要高精地圖，但在L3、L4級別，高精地圖是標(biāo)配。

發(fā)展到L5階段是否需要高精地圖？到目前為止還不確定。在目前的情況下，如果沒有高精地圖，L3、L4級別的自動(dòng)駕駛很難實(shí)現(xiàn)。

高精地圖的定義

傳統(tǒng)地圖的技術(shù)不是不精確，而是尚未達(dá)到自動(dòng)駕駛的需求。

用于L3、L4級別自動(dòng)駕駛的高精地圖，對整個(gè)道路的描述更加準(zhǔn)確、清晰和全面。高精地圖除了傳統(tǒng)地圖的道路級別，還有道路之間的連接關(guān)系，專業(yè)術(shù)語叫Link。

高精地圖最主要的特征是需要描述車道、車道的邊界線、道路上各種交通設(shè)施和人行橫道。

即它把所有東西、所有人能看到的影響交通駕駛行為的特性全部表述出來。

第二個(gè)特征是實(shí)時(shí)性。實(shí)時(shí)性是非常關(guān)鍵的指標(biāo)，因?yàn)樽詣?dòng)駕駛完全依賴于車輛對于周圍環(huán)境的處理，如果實(shí)時(shí)性達(dá)不到要求，可能在車輛行駛過程中會(huì)有各種各樣的問題及危險(xiǎn)。

高精地圖更類似于自動(dòng)駕駛的專題組，但國內(nèi)可能為了稱謂方便還是稱它為高精地圖。高精地圖并不是特指精度，它在描述上更加的全面，對實(shí)時(shí)性的要求更高。

導(dǎo)航地圖與高精地圖的差別

左邊是我們經(jīng)常用到的一些電子導(dǎo)航地圖，它的表述形式傾向“有向圖”結(jié)構(gòu)，把道路抽象成一條條的邊，各邊連通關(guān)系構(gòu)成整體上的有向圖。這類似百度地圖、高德地圖、谷歌地圖的做法。

導(dǎo)航地圖只是給駕駛員提方向性的引導(dǎo)。識別標(biāo)志標(biāo)牌、入口復(fù)雜情況、行人等都是由駕駛員來完成，地圖只是引導(dǎo)作用。導(dǎo)航地圖是根據(jù)人的行為習(xí)慣來設(shè)計(jì)的。

高精地圖完全為機(jī)器設(shè)計(jì)的。因?yàn)閷τ诘缆返母鞣N情況、人都能理解，但是對于車輛來說它完全不理解。

右邊的圖是比較典型的復(fù)雜路口，包括人行橫道、紅綠燈、限速標(biāo)牌、車道左轉(zhuǎn)右轉(zhuǎn)類型。

我們可以看到圖中的路口中間有虛擬的連接線。真實(shí)道路中不存在連接線。連接線是為了讓車輛更好的去理解環(huán)境，并在高精地圖上表示出來。通過這一步，在人類構(gòu)建的交通設(shè)施環(huán)境下，自動(dòng)駕駛車輛便能運(yùn)行。

自動(dòng)駕駛領(lǐng)域?qū)δ苣K的劃分

高精地圖可以作為自動(dòng)駕駛的「大腦」?！复竽X」里面最主要是地圖、感知、定位、預(yù)測、規(guī)劃、安全。綜合處理成自動(dòng)駕駛車輛能接受的外部信息，并統(tǒng)一運(yùn)行在實(shí)時(shí)的操作系統(tǒng)上。

ROS是業(yè)界普遍接受的實(shí)時(shí)操作系統(tǒng)，百度內(nèi)部也在研發(fā)自己的操作系統(tǒng)。

編者注：

在2019CES的Apollo 3.5發(fā)布會(huì)上，Apollo正式發(fā)布首個(gè)自動(dòng)駕駛高性能開源計(jì)算框架 Cyber RT。

Apollo Cyber RT系統(tǒng)是 Apollo 開源軟件平臺層的一部分，作為運(yùn)行時(shí)計(jì)算框架，處于實(shí)時(shí)操作系統(tǒng) (RTOS) 和應(yīng)用模塊之間。

Apollo Cyber RT作為基礎(chǔ)平臺，支持流暢高效的運(yùn)行所有應(yīng)用模塊。

車上配備的傳感器類似于人的感知系統(tǒng)，用來感知外部環(huán)境；自動(dòng)駕駛車輛會(huì)把感知的結(jié)果通過「大腦」處理后發(fā)送給控制系統(tǒng)。

HMI人機(jī)交互接口前期主要用于內(nèi)部調(diào)試，后期當(dāng)自動(dòng)駕駛車輛量產(chǎn)后，需要用戶輸入目的地等信息。

因此，高精地圖對于感知、定位、規(guī)劃、決策、仿真和安全都是不可缺少的。

下面讓我們來逐一了解高精地圖模塊與其他模塊之間的關(guān)系。

視覺與高精地圖結(jié)合是比較典型的視覺定位方法

現(xiàn)在主流的自動(dòng)駕駛的定位方案有兩種：一種是基于點(diǎn)云，另一種是基于Camera。其本身都是一種對周圍環(huán)境的感知。

感知后是Feature提取，提取之后可以通過特征匹配最終得到精確結(jié)果。

自動(dòng)駕駛車輛在路口“看”到建筑物，然后通過激光雷達(dá)能搜到點(diǎn)云的信息，通過點(diǎn)云的特征提取，然后通過復(fù)雜的組合變換、視角變換，最終通過跟周圍環(huán)境的比對能得到比較準(zhǔn)確的定位坐標(biāo)。

目前主流Camera定位的視覺方案，會(huì)實(shí)時(shí)做LocationFeature的提取。在HDMap里面也存儲(chǔ)了對應(yīng)的一些Location相關(guān)的特征。經(jīng)過兩個(gè)提取特征的比較后可以得到相對準(zhǔn)確的定位位置信息。

Camera下有GNSS，雷達(dá)也有。有初值之后可以減少搜索的范圍，在工程上可以搜到更好的結(jié)果。

路邊特征/車道線對比

左側(cè)「路邊的特征」圖片是我們利用粒子濾波提取路邊特征的演示。

車輛在初始位置時(shí)，Camera可以觀測到在它左邊有一棵樹。這棵樹可能是高精地圖的Feature，通過Feature我們知道車輛可能的位置。

下一刻，Camera觀測到它右邊又有一棵樹。通過這兩個(gè)Feature的比對，再通過概率性疊加計(jì)算，幾次迭代后就可以大概確定車輛所在道路的位置。

道路上的Feature是非常多的，除了樹以外，也可能是車道線。

右側(cè)「道路車道線」圖片是基于車道線的匹配情況演示。通過Camera、DeepLearning和實(shí)時(shí)的檢測模塊，系統(tǒng)能夠?qū)崟r(shí)地檢測到車道線。

從右圖可以看出左邊的車道線匹配情況不太好，右邊的車道線匹配比較好，這時(shí)候能大概的確定我們在右邊車道線對應(yīng)的相關(guān)位置。

高精地圖里面由定位提供的Feature有很多，例如電線桿、車道線、停止線和人行橫道等都能提供很多的約束信息。

超距離感知、障礙物感知與紅綠燈感知

自動(dòng)駕駛車輛搭載的傳感器類型有很多。但64線激光雷達(dá)、Camera和Radar等傳感器都有一定局限性。

64線激光雷達(dá)號稱有一百米的檢測距離。但實(shí)踐中超過60米之后，點(diǎn)云本身已非常稀疏，60米外檢測的可信度會(huì)繼續(xù)下降。

自動(dòng)駕駛車輛在行駛中如果遭遇灑水車，或者碰到霧霾天氣，對激光雷達(dá)的檢測可信度也會(huì)有很大影響。

Camera的局限更大，在夜間、逆光的情況下很難達(dá)到非常好的視覺效果。

Radar的穿透能力很強(qiáng)，但精度不高。

所以基于這些傳感器本身的局限性，高精地圖能夠提供非常大的幫助。

開發(fā)者可以把高精地圖看作是離線的傳感器，在高精地圖里，道路元素的位置都被標(biāo)注好了。

由于物體的遮擋影響，自動(dòng)駕駛車輛在某些地方看不到左下側(cè)/比較遠(yuǎn)的紅綠燈。

在高精地圖里提前標(biāo)注紅綠燈的三維空間位置后，感知模塊就可以提前做針對性的檢測。

這樣做不僅可以減少感知模塊的工作量，而且可以解決DeepLearning的部分缺陷。識別可能會(huì)有些誤差，但先驗(yàn)之后可提高識別率。

高精地圖可以幫助車輛做到先驗(yàn)信息/軌跡約束/預(yù)測選擇

規(guī)劃、預(yù)測和決策也是自動(dòng)駕駛里非常重要的模塊。

「規(guī)劃模塊」完成的工作主要有兩個(gè)：第一是A點(diǎn)到B點(diǎn)的長距離規(guī)劃；第二個(gè)是短距離規(guī)劃。

自動(dòng)駕駛車輛在行駛過程中面臨動(dòng)態(tài)環(huán)境。其中包括道路交通的參與者，比如其他車輛和行人。我們要根據(jù)障礙物的實(shí)時(shí)位置及時(shí)地做局部規(guī)劃。

在Apollo源碼里有Planning的模塊，是用來專門研究規(guī)劃的。

有了以上兩個(gè)層面的規(guī)劃之后，還需要預(yù)測。「預(yù)測模塊」的作用是把其他道路參與者的可能行駛的路徑軌跡和行動(dòng)預(yù)測出來。

「決策模塊」主要是根據(jù)規(guī)劃和預(yù)測的結(jié)果決定自動(dòng)駕駛車輛是跟車、超車還是在紅綠燈燈前停下等決策。

「控制模塊」是把決策結(jié)果分解為一系列的控制行動(dòng)，然后分發(fā)給控制模塊執(zhí)行。

從以上分析可以看到，規(guī)劃、預(yù)測、決策和控制的每個(gè)步驟都與高精地圖有密切的關(guān)系。

高精地圖的規(guī)劃是Lean級別的，傳統(tǒng)導(dǎo)航只需知道點(diǎn)到點(diǎn)的信息。對于高精地圖而言，規(guī)劃需要知道從哪個(gè)Lean到哪個(gè)Lean，是一系列Lean的序列。

規(guī)劃的第二個(gè)層次是Planning。

在軌跡約束中，經(jīng)高精地圖運(yùn)算后，自動(dòng)駕駛車輛避讓時(shí)會(huì)清楚地知道目的地在哪/怎么選，并提供可行的解空間。

預(yù)測的體系比較復(fù)雜，但底層仍依賴于高精地圖。

例如，自動(dòng)駕駛車輛「看到」其他車輛在左轉(zhuǎn)車道上，系統(tǒng)會(huì)預(yù)測此車輛很大概率上要左轉(zhuǎn)；若是「看到」其他車輛在右轉(zhuǎn)車道上，系統(tǒng)會(huì)預(yù)測此車輛很大概率上要右轉(zhuǎn)；「看到」行人在人行橫道上，這時(shí)候紅綠燈是綠的，系統(tǒng)則預(yù)測行人要過馬路。

以上便是高精地圖給規(guī)劃、預(yù)測和決策模塊提供先驗(yàn)的知識，高精地圖能夠讓車輛「決策」更加準(zhǔn)確。

自動(dòng)駕駛車輛聯(lián)網(wǎng)后，遭受攻擊無可避免

自動(dòng)駕駛的主要目標(biāo)是能夠取代人類司機(jī)，能夠取代的前提是自動(dòng)駕駛車輛必須足夠的安全。

安全的維度有很多。駕駛算法的穩(wěn)定性和對場景的處理能力也屬于安全范疇。

今天我們著重講安全模塊與高精地圖的關(guān)系。

自動(dòng)駕駛車輛有很多傳感器，當(dāng)自動(dòng)駕駛車輛上路之后，會(huì)出現(xiàn)很多質(zhì)疑的聲音。

聯(lián)網(wǎng)的自動(dòng)駕駛車輛可能被攻擊。因?yàn)樗械臇|西一旦聯(lián)網(wǎng)，就存在各種各樣的隱患。

自動(dòng)駕駛車輛可能遭受4個(gè)維度的攻擊：傳感器、操作系統(tǒng)、控制系統(tǒng)和通信系統(tǒng)。

傳感器是自動(dòng)駕駛車輛輛上通用的模塊，相當(dāng)于IMU慣性測量單元，它對于磁場是非常敏感，如果我們在車輛周圍放一些強(qiáng)磁場，會(huì)影響它測量的準(zhǔn)確度。

輪速器也有風(fēng)險(xiǎn)。車輪變形和損壞都會(huì)影響測量精度。

激光雷達(dá)依賴于激光反射。如果我們在周圍環(huán)境上加載人工的反射物或假的紅綠燈，就會(huì)讓我們的車直接停下。假的GPS信號和激光也會(huì)對系統(tǒng)造成干擾。

定位模塊依賴于高精地圖提供的信息來做運(yùn)動(dòng)學(xué)的約束；激光雷達(dá)依賴高精地圖做一些三維點(diǎn)的掃描。

Apollo提供的定位方案基于激光雷達(dá)反射值。反射值不準(zhǔn)確就會(huì)對定位精度有影響，紅綠燈對規(guī)劃決策控制也有很大的影響。

針對任何一種攻擊，目前來說，還很難有全面有效的方法來防止問題發(fā)生。

高精地圖能在這里面起什么作用？

高精地圖能提供離線的標(biāo)準(zhǔn)信息。比如說，激光雷達(dá)在場景中掃描到物體，通過與高精地圖中的信息進(jìn)行對比匹配。如果結(jié)果不一致，我們可以大概率地認(rèn)為此地有問題，這就是通過多傳感器的融合來解決安全問題。

仿真系統(tǒng)是自動(dòng)駕駛非常重要的模塊

自動(dòng)駕駛車輛的成本很高。車輛的成本幾十萬，64線激光雷達(dá)的成本在8萬美元。

實(shí)際情況中，開發(fā)者很難把所有的策略迭代都放在車上去測試，所以需要非常強(qiáng)大的仿真系統(tǒng)。

仿真的主要問題是「真實(shí)」，怎樣做到「真實(shí)」？

Apollo的仿真系統(tǒng)主要是基于高精地圖/真實(shí)場景來構(gòu)建。仿真場景回放后，和真實(shí)上路的實(shí)際情況相比，可以基本保證Gap不會(huì)很大。

在實(shí)際測試的過程中，Apollo的測試人員也會(huì)錄一些Bag，記錄實(shí)測中遇到的一些問題，并放到仿真系統(tǒng)里去做測試。

高精地圖為仿真地圖提供了最底層的基礎(chǔ)結(jié)構(gòu)，能讓仿真系統(tǒng)更好的去模擬真實(shí)道路的場景。

沒有高精地圖的高可靠性，L3/L4自動(dòng)駕駛無法落地。

高精地圖可將人類經(jīng)驗(yàn)賦予自動(dòng)駕駛系統(tǒng)

上圖是幾個(gè)非常典型的、難理解的場景。

第一是在重慶的某地。路網(wǎng)非常復(fù)雜，我們目前的技術(shù)從算法層面無法理解如此復(fù)雜的交通場景。

第二個(gè)是雪天。雪天是非常難解的場景，雪天時(shí)路上的車道線全部被蓋住了，不管是基于視覺還是雷達(dá)都無法正常運(yùn)行。

2018年谷歌IO大會(huì)上提出了通過深度學(xué)習(xí)能夠解決雪天的場景。在下雪過程中，激光雷達(dá)在掃描到雪花之后會(huì)誤報(bào)出很多障礙物，通過深度學(xué)習(xí)能夠把激光雷達(dá)上檢測到的雪花障礙物過濾掉，最終得到跟沒有下雪的場景一樣，但是具體效果怎么樣，并沒有具體的數(shù)據(jù)披露。

第三個(gè)是復(fù)雜的紅綠燈，這種紅綠燈即使人看到也不知該如何處理。

高精地圖是靜態(tài)的Perception。機(jī)器理解不了，我們可以把人理解的經(jīng)驗(yàn)賦予給駕駛系統(tǒng)，相當(dāng)于把人的經(jīng)驗(yàn)傳授給它。

高精地圖可以彌補(bǔ)系統(tǒng)性缺陷

自動(dòng)駕駛需要非常復(fù)雜的計(jì)算系統(tǒng)，4G的傳輸速度并不能滿足現(xiàn)階段自動(dòng)駕駛的海量數(shù)據(jù)傳輸需求。

64線激光雷達(dá)、Camera和其他傳感器，每時(shí)每刻都會(huì)產(chǎn)生巨量的數(shù)據(jù)，這些數(shù)據(jù)不能傳回云端，就不能采用互聯(lián)網(wǎng)的模式：通過云端計(jì)算把結(jié)果發(fā)送給終端。

5G是否能達(dá)到數(shù)據(jù)傳輸?shù)囊筮€需要再驗(yàn)證。目前從5G的宣傳層面來看，能夠達(dá)到數(shù)據(jù)實(shí)時(shí)傳輸?shù)男Ч?G的普及還需要時(shí)間。所以我們現(xiàn)在把大量的數(shù)據(jù)都放在終端。

Apollo的自動(dòng)駕駛車輛后面有非常大的計(jì)算單元?；?a href="http://www.brongaenegriffin.com/tags/英特爾/" target="_blank">英特爾工控機(jī)，Apollo把所有的計(jì)算都放在車上，這會(huì)對計(jì)算速度和實(shí)時(shí)性有很大的影響。

我們希望Apollo的各模塊都能達(dá)到實(shí)時(shí)級的響應(yīng)，但是自動(dòng)駕駛車輛的計(jì)算量太大，想要達(dá)到實(shí)時(shí)級的響應(yīng)，仍需其他模塊的輔助。

舉個(gè)例子，高精地圖告訴感知/控制模塊，在你的雙向通行的車道中有柵欄隔離，對向車道的車不可能過來，系統(tǒng)就可以放棄檢測對向車道上的障礙物，有效地降低系統(tǒng)負(fù)擔(dān)。

傳感器有局限，但高精地圖給自動(dòng)駕駛提供了超視覺、超過傳感器邊界的遠(yuǎn)距離感知。