導(dǎo)讀：近日，吳恩達(dá)的 Drive.ai 被蘋果收購的消息給了自動(dòng)駕駛領(lǐng)域一記警鐘，但這個(gè)領(lǐng)域的進(jìn)展和成果猶在。本文將介紹一些端到端的自動(dòng)駕駛研發(fā)系統(tǒng)，讓讀者可以從系統(tǒng)層面對(duì)自動(dòng)駕駛有更加深刻的認(rèn)識(shí)。

雖然不贊成，但有必要列出來這種研究和demo工作。

英偉達(dá)駕駛員模擬器

Nvidia是比較早做端到端控制車輛工作的公司，其方法訓(xùn)練CNN模型完成從單個(gè)前向攝像頭的圖像像素到車輛控制的映射。 其系統(tǒng)自動(dòng)學(xué)習(xí)一些處理步驟的內(nèi)部表示，比如只用轉(zhuǎn)向角作為訓(xùn)練信號(hào)去檢測(cè)道路特征。

下圖是其CNN模型訓(xùn)練的流程圖，采用BP算法。而下下圖是模型推理的框圖，這時(shí)候只用一個(gè)中間的攝像頭。

下圖給出其數(shù)據(jù)收集系統(tǒng)的框架，包括3個(gè)攝像頭（左，右，中）輸入，輸出控制方向盤。

PilotNet如圖CNN模型架構(gòu)細(xì)節(jié)，有2700萬個(gè)連結(jié)，25萬個(gè)參數(shù)。

駕駛仿真器

可以看出，這個(gè)模型不學(xué)習(xí)速度調(diào)整模型，如自適應(yīng)巡航控制（ACC）那樣。當(dāng)年，該系統(tǒng)曾在舊金山的著名觀景九曲花街做過演示，的確不需要控制速度，但是障礙物造成剎車也會(huì)造成人為接管。

Comma.ai 與 OpenPilot 駕駛模擬器

Comma.ai作為向特斯拉和Mobileye的視覺方法挑戰(zhàn)的黑客，的確在端到端的自動(dòng)駕駛開發(fā)是最早的探索者。

其思想就是克隆駕駛員的駕駛行為，并模擬今后道路的操作規(guī)劃。采用的深度學(xué)習(xí)模型是基于GAN （generative adversarial networks）框架下的VAE（variational autoencoders）。利用一個(gè)行動(dòng)（action）條件RNN模型通過15幀的視頻數(shù)據(jù)來學(xué)習(xí)一個(gè)過渡模型（transition model）。下圖給出了這個(gè)模擬器模型的架構(gòu)，其中基于RNN的過渡模型和GAN結(jié)合在一起。

曾經(jīng)在網(wǎng)上銷售其系統(tǒng)：

該方法沒有考慮感知模塊的單獨(dú)訓(xùn)練，安全性較差，比如缺乏障礙物檢測(cè)，車道線檢測(cè)，紅綠燈檢測(cè)等等。

從大規(guī)模視頻中學(xué)習(xí) E2E 駕駛模型

目的是學(xué)習(xí)一種通用的車輛運(yùn)動(dòng)模型，而這個(gè)端到端的訓(xùn)練架構(gòu)學(xué)會(huì)從單目相機(jī)數(shù)據(jù)預(yù)測(cè)今后車輛運(yùn)動(dòng)的分布。如圖應(yīng)用一個(gè)FCN-LSTM 結(jié)構(gòu)做到這種運(yùn)動(dòng)軌跡預(yù)測(cè)。

這種通用模型，輸入像素，還有車輛的歷史狀態(tài)和當(dāng)今狀態(tài)，預(yù)測(cè)未來運(yùn)動(dòng)的似然函數(shù)，其定義為一組車輛動(dòng)作或者運(yùn)動(dòng)粒度（離散和連續(xù)）。圖將這種方法和其他兩個(gè)做比較： “中介感知（Mediated Perception）“ 方法依賴于語義類別標(biāo)簽；“運(yùn)動(dòng)反射（Motion Reflex）” 方法完全基于像素直接學(xué)習(xí)表示； 而 FCN-LSTM ，稱為“特權(quán)訓(xùn)練（Privileged Training）“ 方法，仍然從像素學(xué)習(xí)，但允許基于語義分割的附加訓(xùn)練。

基于逆向強(qiáng)化學(xué)習(xí)的人類自主駕駛開放框架

基于一個(gè)開放平臺(tái)，包括了定位和地圖的車道線檢測(cè)模塊，運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤模塊（DATMO），可以讀取車輛的里程計(jì)和發(fā)動(dòng)機(jī)狀態(tài)。采用逆增強(qiáng)學(xué)習(xí)（IRL）建立的行為學(xué)習(xí)規(guī)劃模塊（BEhavior Learning LibrarY，Belly) ，其中特征右橫向偏移，絕對(duì)速度，相對(duì)車速限制的速度和障礙物的碰撞距離，輸出規(guī)劃的軌跡。圖是其系統(tǒng)框圖。

通過條件模仿學(xué)習(xí)進(jìn)行端到端駕駛

模擬學(xué)習(xí)有缺陷，無法在測(cè)試時(shí)候控制，比如在交叉路口打U-turn。

提出條件模擬學(xué)習(xí)（Condition imitation learning），有以下特點(diǎn)：

訓(xùn)練時(shí)候，輸入的不僅是感知和控制，還有專家的意圖。

測(cè)試時(shí)候，直接輸入命令，解決了感知電機(jī)（perceptuomotor）的多義性（ambiguity），同時(shí)可以直接被乘客或者拓?fù)湟?guī)劃器控制，就像駕駛員的一步一步操作。

無需規(guī)劃，只需考慮駕駛的表達(dá)問題。

復(fù)雜環(huán)境下的視覺導(dǎo)航成為可能。

下面是實(shí)現(xiàn)條件模擬學(xué)習(xí)的兩個(gè)NN架構(gòu)：

第一個(gè)：命令輸入。命令和圖像等測(cè)試數(shù)據(jù)一起作為輸入，可以用指向任務(wù)的向量取代命令構(gòu)成任務(wù)條件的模擬學(xué)習(xí)。

第二個(gè)：分支。命令作為一個(gè)開關(guān)在專用的子模塊之間的切換。

物理系統(tǒng)：

虛擬和實(shí)際環(huán)境：

自動(dòng)駕駛的失敗預(yù)測(cè)

駕駛模型在交通繁忙的地區(qū)、復(fù)雜的路口、糟糕的天氣和照明條件下很可能失敗。而這里就想給出一個(gè)方法能夠?qū)W習(xí)如何預(yù)測(cè)這些失敗出現(xiàn)，意識(shí)是估價(jià)某個(gè)場(chǎng)景對(duì)一個(gè)駕駛模型來說有多困難，這樣可以提前讓駕駛員當(dāng)心。

這個(gè)方法是通過真實(shí)駕駛數(shù)據(jù)開發(fā)一個(gè)基于攝像頭的駕駛模型，模型預(yù)測(cè)和真實(shí)操作之間的誤差就稱為錯(cuò)誤度。 這樣就定義了“場(chǎng)景可駕駛度（Scene Drivability），其量化的分?jǐn)?shù)即安全和危險(xiǎn)（Safe and Hazardous），圖給出整個(gè)架構(gòu)圖。

圖是失敗預(yù)測(cè)模型訓(xùn)練和測(cè)試的流程圖。預(yù)測(cè)失敗其實(shí)是對(duì)駕駛模型的考

驗(yàn)，能及時(shí)發(fā)現(xiàn)不安全的因素。

結(jié)果如下

基于激光雷達(dá)的完全卷積神經(jīng)網(wǎng)絡(luò)

驅(qū)動(dòng)路徑生成

Note：past path (red)，Lidar-IMU-INT’s future path prediction (blue).

這是一個(gè)機(jī)器學(xué)習(xí)方法，通過集成激光雷達(dá)點(diǎn)云，GPS-IMU數(shù)據(jù)和Google地圖導(dǎo)航信息而產(chǎn)生駕駛通路。還有一個(gè)FCN模型一起學(xué)習(xí)從真實(shí)世界的駕駛序列得到感知和駕駛通路。產(chǎn)生與車輛控制相接近并可理解的輸出，有助于填補(bǔ)低層的景物分解和端到端“行為反射”方法之間的間距。圖給出其輸入-輸出的張量信號(hào)，如速度，角速度，意圖，反射圖等等。

下面圖每列中，頂圖是過去/今后（紅/藍(lán)）通路預(yù)測(cè)，底圖是駕駛意圖近域（左）和駕駛意圖方向（右）。A列是駕駛意圖（右轉(zhuǎn)）和直路無出口的分歧，B–D列是存在多個(gè)可能方向 。

Note：driving intentionproximity(left)，driving

intentiondirection(right).

上圖是FCN模型參數(shù)。

LiDAR視頻駕駛數(shù)據(jù)集：有效學(xué)習(xí)駕駛政策

離散動(dòng)作預(yù)測(cè)，預(yù)測(cè)所有可能動(dòng)作的概率分布。但離散預(yù)測(cè)的局限是，只能在有限的定義好的動(dòng)作進(jìn)行預(yù)測(cè)。連續(xù)預(yù)測(cè)是把預(yù)測(cè)車輛的現(xiàn)行狀態(tài)作為一個(gè)回歸任務(wù)，如果準(zhǔn)確預(yù)測(cè)在實(shí)際狀態(tài)的駕駛策略，那么被訓(xùn)練的模型可以成功駕駛車輛。所以，把駕駛過程看成一個(gè)連續(xù)的預(yù)測(cè)任務(wù)，訓(xùn)練一個(gè)模型在輸入多個(gè)感知信息（包括視頻和點(diǎn)云）后能預(yù)測(cè)正確的方向盤轉(zhuǎn)角和車輛速度。

如圖是其系統(tǒng)框圖，其中深度學(xué)習(xí)模型是DNN加LSTM，激光雷達(dá)點(diǎn)云通過PointNet提取特征送入深度學(xué)習(xí)模型。

如圖給出傳感器數(shù)據(jù)在進(jìn)入NN模型之前的預(yù)處理流水線框圖，需要時(shí)間同步，空間對(duì)齊。

下面圖是深度學(xué)習(xí)模型DNN和DNN+LSTM的架構(gòu)圖

使用環(huán)視攝像機(jī)和路線規(guī)劃器進(jìn)行駕駛模型的端到端學(xué)習(xí)

ETH的工作，采用一個(gè)環(huán)視視覺系統(tǒng)，一個(gè)路徑規(guī)劃器，還有一個(gè)CAN總線閱讀器。 采集的駕駛數(shù)據(jù)包括分散的駕駛場(chǎng)景和天氣/照明條件。集成環(huán)視視覺系統(tǒng)和路徑規(guī)劃器（以O(shè)penStreetMap為地圖格式的GPS坐標(biāo)或者TomTom導(dǎo)航儀）的信息，學(xué)習(xí)基于CNN，LSTM和FCN的駕駛模型，如圖所示。

實(shí)驗(yàn)中，與采用單前向攝像頭訓(xùn)練的模型還有人工操作比較（藍(lán)/黃/紅），如圖所示：其中（1）-（3）對(duì)應(yīng)三種不同的模型訓(xùn)練結(jié)果，即（1）只用TomTom路徑規(guī)劃器訓(xùn)練，（2）只用環(huán)視視覺系統(tǒng)訓(xùn)練， （3）用環(huán)視視覺和TomTom路徑規(guī)劃器一起訓(xùn)練。

深度學(xué)習(xí)的模型架構(gòu)，包括路徑規(guī)劃器和環(huán)視系統(tǒng)5個(gè)輸入通道，輸出到方向

盤和加速踏板。

下面結(jié)果是左右拐彎時(shí)候的三種方法比較：人，前向攝像頭和環(huán)視視覺加TomTom導(dǎo)航儀。

目前，該還沒有加入目標(biāo)檢測(cè)和跟蹤的模塊（當(dāng)然還有紅綠燈識(shí)別，車道線檢測(cè)之類的附加模塊），但附加的這些模型能夠改進(jìn)整個(gè)系統(tǒng)的性能。

佐治亞理工學(xué)院端到端學(xué)習(xí)自動(dòng)駕駛

還是模擬學(xué)習(xí)：采用DNN直接映射感知器數(shù)據(jù)到控制信號(hào)。下面系統(tǒng)框圖：

下面是DNN 控制策略：

TRI自動(dòng)駕駛端到端控制

端到端DNN訓(xùn)練，提出一種自監(jiān)督學(xué)習(xí)方法去處理訓(xùn)練不足的場(chǎng)景。下圖是自監(jiān)督端到端控制的框架：NN編碼器訓(xùn)練學(xué)習(xí)監(jiān)督控制命令，還有量化圖像內(nèi)容的各種非監(jiān)督輸出。

提出新的VAE架構(gòu)，如下圖，做端到端控制： 編碼器卷積層之后的圖像特征，進(jìn)入一個(gè)監(jiān)督學(xué)習(xí)方向盤控制的潛在變量（latent variables ）的可變空間。最后潛在向量進(jìn)入解碼器自監(jiān)督學(xué)習(xí)重建原始圖像。

特斯拉 SW 2.0

特斯拉的2.0軟件思想，2018年8月提出。

自動(dòng)雨刷：