如何基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計一個端到端的自動駕駛模型？如何設(shè)計一個基于增強學習的自動駕駛決策系統(tǒng)？簡述算法設(shè)計思路。

【問題1】

如何基于深度神經(jīng)網(wǎng)絡(luò)

設(shè)計一個端到端的自動駕駛模型？

分析與解答

本題屬于開放性設(shè)計題，回答者需要了解自動駕駛模型的基本功能和研發(fā)中涉及到的主要問題，并結(jié)合深度學習領(lǐng)域的相關(guān)知識給出設(shè)計方案。

自動駕駛模型是自動駕駛系統(tǒng)的重要組成部分，其在功能上試圖模仿人類司機，通過給定當前的車輛狀態(tài)和周圍環(huán)境信息，輸出為對車輛控制信號。傳統(tǒng)的駕駛模型設(shè)計方法人為地將自動駕駛?cè)蝿?wù)分解成車道識別、場景抽象、路徑規(guī)劃和控制決策等多個子任務(wù)，然后再根據(jù)各個子任務(wù)的輸出，通過人工定義的規(guī)則來控制汽車的前進；而通過建立從輸入信號到輸出信號的端到端模型，可以

無需引入大量的人工規(guī)則來控制汽車的行駛；

使整個自動駕駛系統(tǒng)的結(jié)構(gòu)更加簡單、高效；

使模型自主地學到人沒有指定的子任務(wù)。

而對于端到端駕駛模型的具體設(shè)計，這里介紹業(yè)界較有影響力的工作——Nivdia于2016年提出的PilotNet模型以供參考。

PilotNet模型是一個端到端的深度神經(jīng)網(wǎng)絡(luò)，可以在自動駕駛系統(tǒng)中控制車輛前進的方向。模型根據(jù)安裝在汽車擋風玻璃前的三個攝像頭采集到的原始圖片，通過深度神經(jīng)網(wǎng)絡(luò)學習出汽車前進所需要轉(zhuǎn)動的角度。其整體架構(gòu)如 Fig. 2 所示 [3]。

Figure 1:Nivdia端到端的自動駕駛系統(tǒng)

PilotNet是一個9層神經(jīng)網(wǎng)絡(luò)，由1個歸一化層(Normalization Layer)、5個卷積層(Convolutional Layer)和3個全連接層(Fully Connected Layer)組成，如 fig. 3 [4] 所示。模型的輸入為映射到Y(jié)UV平面的原始輸入圖像，輸出為車輛前進需要偏轉(zhuǎn)的方向。網(wǎng)絡(luò)的前三個卷積層采用5*5的卷積核，后兩個卷積層采用3*3的卷積核。訓練數(shù)據(jù)包含在不同類型道路上(高速公路、住宅區(qū)的街道、鄉(xiāng)間小路等)、不同光線強度、不同天氣條件下的真實的汽車行駛過程中收集到的視頻采樣圖片。

Figure 2: PilotNet網(wǎng)絡(luò)結(jié)構(gòu)圖

PilotNet在模擬仿真和實際路測均取得較好的實驗結(jié)果。實驗中定義車輛自動化程度為評測指標，即：

模擬系統(tǒng)中車輛偏離道路中心線超過一米時會發(fā)生一次人工干預，并假設(shè)人工干預平均需要消耗的時間約為6s/次。PilotNet模型在仿真系統(tǒng)上的評測結(jié)果為90%，路測指標可以達到98%。

【問題2】

如何設(shè)計一個基于增強學習的自動駕駛決策系統(tǒng)？

簡述算法設(shè)計思路

分析與解答

傳統(tǒng)的自動駕駛決策系統(tǒng)多數(shù)采用人工定義的規(guī)則，但是人工定義的規(guī)則不夠全面，容易漏掉一些邊界情況，因而會考慮采用增強學習的原理設(shè)計一個自動駕駛的決策系統(tǒng)，使自動駕駛的決策系統(tǒng)能從數(shù)據(jù)中自動學習并優(yōu)化自身的決策過程。

對于這一問題的解答可以參考Mobileye提出的基于增強學習的多智能體決策系統(tǒng) [5] 。自動駕駛的決策系統(tǒng)不同于傳統(tǒng)的機器人決策系統(tǒng)：首先，其屬于多智能體的場景，其他智能體的行為難以預測，并會對主智能體的行為造成影響；其次，在決策中需要確保策略的安全性，安全地處理意料之外的場景，防止交通事故的發(fā)生。

所以，

Figure 3: 雙向變道決策過程的DAG

擴展與總結(jié)

自動駕駛系統(tǒng)極其復雜，本章所涉及的內(nèi)容僅僅涵蓋了其中一部分研發(fā)問題與進展。深度學習在自動駕駛領(lǐng)域的應用在圖像識別、場景分割等計算機視覺相關(guān)領(lǐng)域中較為廣泛與深入，而在控制、決策方面的應用還處在初步的嘗試階段。通過本章的介紹，希望大家能夠初步了解深度學習在自動駕駛系統(tǒng)中的應用現(xiàn)狀與主流應用方式，而更深入的學習了解則請閱讀相關(guān)參考文獻。