增強(qiáng)學(xué)習(xí)是最近幾年中機(jī)器學(xué)習(xí)領(lǐng)域的最新進(jìn)展。增強(qiáng)學(xué)習(xí)依靠與環(huán)境交互學(xué)習(xí)，在相應(yīng)的觀測中采取最優(yōu)行為。行為的好壞可以通過環(huán)境給予的獎(jiǎng)勵(lì)來確定。不同的環(huán)境有不同的觀測和獎(jiǎng)勵(lì)。例如，駕駛中環(huán)境觀測是攝像頭和激光雷達(dá)采集到的周圍環(huán)境的圖像和點(diǎn)云，以及其他的傳感器的輸出，例如行駛速度、GPS定位、行駛方向。駕駛中的環(huán)境的獎(jiǎng)勵(lì)根據(jù)任務(wù)的不同，可以通過到達(dá)終點(diǎn)的速度、舒適度和安全性等指標(biāo)確定。增強(qiáng)學(xué)習(xí)和傳統(tǒng)機(jī)器學(xué)習(xí)的最大區(qū)別是增強(qiáng)學(xué)習(xí)是一個(gè)閉環(huán)學(xué)習(xí)的系統(tǒng)，增強(qiáng)學(xué)習(xí)算法選取的行為會(huì)直接影響到環(huán)境，進(jìn)而影響到該算法之后從環(huán)境中得到的觀測。

增強(qiáng)學(xué)習(xí)在無人駕駛中的應(yīng)用

關(guān)于安全自主駕駛的研究可以分為兩種方法：一是傳統(tǒng)的感知，規(guī)劃和控制框架，另一種是基于學(xué)習(xí)的方法?；趯W(xué)習(xí)的方法可以成功處理在計(jì)算機(jī)視覺領(lǐng)域的高維特征（如卷積神經(jīng)網(wǎng)絡(luò)（CNN））而廣受歡迎[5]-[7]，強(qiáng)化學(xué)習(xí)算法可以最大化預(yù)期獎(jiǎng)勵(lì)的總和。有越來越多的研究開始將這兩種技術(shù)結(jié)合，用于自動(dòng)駕駛。對(duì)于車道保持，Rausch等人[8]提出了一種訓(xùn)練網(wǎng)絡(luò)的方法，該方法直接根據(jù)從前置攝像頭獲得的圖像預(yù)測轉(zhuǎn)向角。結(jié)果表明，該神經(jīng)網(wǎng)絡(luò)可以通過從前置攝像頭得到的原始圖像，自動(dòng)學(xué)習(xí)車道等特征，來訓(xùn)練車輛的車道保持的轉(zhuǎn)向角度。 John等人[9]提出了混合框架，通過使用長短期記憶網(wǎng)絡(luò)（LSTM）為每個(gè)場景計(jì)算適當(dāng)?shù)霓D(zhuǎn)向角。每個(gè)網(wǎng)絡(luò)都會(huì)在特定道路場景的特定分區(qū)（如直線駕駛，右轉(zhuǎn)彎和左轉(zhuǎn)彎）中，對(duì)駕駛行為進(jìn)行建模。在考慮多種駕駛場景時(shí)，它在多個(gè)駕駛序列中運(yùn)行良好。 Al-Qizwini等人[10]提出了一種回歸網(wǎng)絡(luò)，預(yù)測駕駛的可利用狀態(tài)，如前置攝像機(jī)圖像中的交叉錯(cuò)誤，航向誤差和障礙物距離，而不是通過使用GoogLeNet直接從前攝像機(jī)圖像預(yù)測轉(zhuǎn)向角[11 ] 。轉(zhuǎn)向角度，油門和制動(dòng)都是使用基于if-else規(guī)則的算法計(jì)算出來的。

Sallab等[12]提出了一種在沒有障礙物的情況下，使用DQN（Deep Q Network）和DDAC（Deep Deterministic Actor Critic）學(xué)習(xí)車道保持駕駛策略的方法。他們直接掌握轉(zhuǎn)向，加速和減速，根據(jù)低維特征（如速度，軌道邊界位置）最大限度地提高預(yù)期的未來回報(bào)。因此，使用可應(yīng)用于連續(xù)作用的DDAC而非離散作用空間的DQN可以提高車道保持性能。 Zong等[13]提出了一種應(yīng)用DDPG [14]來躲避障礙物，學(xué)習(xí)轉(zhuǎn)向角和加速度值的方法。上述方法可以直接獲得控制車輛所需的合適的轉(zhuǎn)向角度、油門和制動(dòng)量。然而，在這些情況下，每當(dāng)車輛的參數(shù)改變時(shí)，最佳策略就會(huì)改變。因此存在很大限制，即為了最佳策略要不斷進(jìn)行學(xué)習(xí)。

本文提出了一個(gè)使用傳統(tǒng)DAS和深度強(qiáng)化學(xué)習(xí)融合的自動(dòng)駕駛框架。該框架在DAS功能（例如車道變換，巡航控制和車道保持等）下，以最大限度地提高平均速度和最少車道變化為規(guī)則，來確定超車次數(shù)?？尚旭偪臻g是根據(jù)行為水平定義的，利用駕駛策略可以學(xué)習(xí)車道保持，車道變更和巡航控制等行為。為了驗(yàn)證所提出的算法，該算法在密集交通狀況的模擬中進(jìn)行了測試，并證明了隨著駕駛期間的學(xué)習(xí)進(jìn)展，平均速度，超車次數(shù)和車道變換次數(shù)方面性能得到改善。

Deep Q Learning Based High Level Driving Policy Determination

Kyushik Min,

Hayoung Kim and Kunsoo Huh, Member, IEEE

作者Kyushik Min，韓國漢陽大學(xué)機(jī)器監(jiān)測和控制實(shí)驗(yàn)室博士生，研究方向?yàn)楦呒?jí)駕駛輔助系統(tǒng)（ADAS）和自動(dòng)駕駛。

項(xiàng)目概述

該項(xiàng)目為Tensorflow Korea 主辦的2017濟(jì)州學(xué)習(xí)營項(xiàng)目。使用傳感器數(shù)據(jù)和相機(jī)圖像作為DRL算法的輸入。DRL算法根據(jù)輸入決定行駛動(dòng)作。如果行動(dòng)可能導(dǎo)致危險(xiǎn)情況，ADAS可以控制車輛以避免碰撞。

高層自動(dòng)駕駛決策的實(shí)現(xiàn)

1.馬爾科夫決策過程（MDP）

馬爾可夫決策過程（MDP）是決策的數(shù)學(xué)框架，它由元組組成，其中狀態(tài)集合S，行為集A，轉(zhuǎn)換模型T，獎(jiǎng)勵(lì)函數(shù)R和折扣因子γ[15]。解決MDP問題的關(guān)鍵是找到一個(gè)策略，使給定的回報(bào)函數(shù)R的折扣回報(bào)期望總和最大化。然而，在最近的深度學(xué)習(xí)研究中，可以從大數(shù)據(jù)集有效地訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，并且可以通過使用從原始輸入中獲得的一些固定狀態(tài)φ（St）而不是狀態(tài)St來解決MDP 。事實(shí)上，深度神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺研究中，已經(jīng)訓(xùn)練出比手工標(biāo)記特征表現(xiàn)更好的算法。駕駛策略學(xué)習(xí)也是基于MDP進(jìn)行的，在該MDP中，主車輛與周圍的車輛和車道等環(huán)境相互作用。使用深度強(qiáng)化學(xué)習(xí)的優(yōu)勢(shì)可以更好的自主學(xué)習(xí)，從而為駕駛決策學(xué)習(xí)定義了觀察狀態(tài)S，行動(dòng)空間A和獎(jiǎng)勵(lì)函數(shù)R。

2.感知

使用LIDAR傳感器數(shù)據(jù)和相機(jī)圖像數(shù)據(jù)構(gòu)建感知狀態(tài)。傳感器配置的總覆蓋范圍可以在上圖中看到。

障礙物距離可以從LIDAR傳感器獲得，也可以從前端攝像頭中獲得原始圖像來輔助感知。由于激光雷達(dá)的距離數(shù)據(jù)和來自相機(jī)的圖像數(shù)據(jù)具有完全不同的特點(diǎn)，因此本研究采用多模態(tài)輸入方案。

3.行動(dòng)

駕駛決策的行動(dòng)空間是在離散行動(dòng)空間中定義的。當(dāng)我們利用傳統(tǒng)DAS的優(yōu)勢(shì)時(shí)，這個(gè)系統(tǒng)的每個(gè)動(dòng)作都可能激活對(duì)應(yīng)的DAS功能。在縱向方向上，有三種動(dòng)作：1.速度為V + Vcc的巡航控制，其中Vcc為額外目標(biāo)速度，設(shè)定為5km / h，2.當(dāng)前速度為V的巡航控制，3.速度為巡航控制 V - Vcc。這些縱向行動(dòng)將觸發(fā)自主緊急制動(dòng)（AEB）和自適應(yīng)巡航控制（ACC）。在橫向方向上，還有三種動(dòng)作：1.保持車道，2.將車道變到左側(cè)，3.將車道變到右側(cè)。由于自動(dòng)駕駛車輛同時(shí)在縱向和橫向兩個(gè)方向上駕駛，我們定義了5個(gè)離散行為。（靜止，加速，減速，車道改變到左側(cè)，車道改變到右側(cè)）

4.獎(jiǎng)勵(lì)

根據(jù)強(qiáng)化學(xué)習(xí)選擇不同的行動(dòng)，將收到行動(dòng)結(jié)果的獎(jiǎng)勵(lì)。在MDP上解決的問題是找到一個(gè)能夠最大化未來預(yù)期價(jià)值獎(jiǎng)勵(lì)的驅(qū)動(dòng)策略。這意味著最佳駕駛策略可以完全不同，具體取決于獎(jiǎng)勵(lì)的設(shè)計(jì)方式。因此，設(shè)計(jì)適當(dāng)?shù)莫?jiǎng)勵(lì)機(jī)制對(duì)學(xué)習(xí)正確的駕駛策略非常重要。當(dāng)車輛在密集的交通情況下行駛時(shí)，應(yīng)該滿足以下三個(gè)條件：1.找到使車輛高速行駛的策略，2.以無碰撞的軌跡行駛，3.不頻繁地改變車道。 基于這三個(gè)條件來設(shè)計(jì)獎(jiǎng)勵(lì)機(jī)制。

用于決策學(xué)習(xí)的DEEP RL算法

DQN在強(qiáng)化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)相結(jié)合的游戲領(lǐng)域取得巨大成功之后，對(duì)深度強(qiáng)化學(xué)習(xí)進(jìn)行了各種研究[16]。尤其是，在基于DQN價(jià)值的深層強(qiáng)化學(xué)習(xí)[17] - [22]中進(jìn)行了大量研究。在此項(xiàng)研究中，深層增強(qiáng)學(xué)習(xí)算法由DQN [1]，Double DQN [17]和Dueling DQN [19]組合得到最近的算法模型，其中的算法參考了Human-level Control Through Deep Reinforcement Learning[1]，Deep Reinforcement Learning with Double Q-Learning[17]，Prioritized Experience Replay[18]，Dueling Network Architecture for Deep Reinforcement Learning[19]四篇論文中的算法。

項(xiàng)目代碼可以在Github上查找：

https://github.com/MLJejuCamp2017/DRL_based_SelfDrivingCarControl

下圖為最終的DQN模型。

仿真模擬

本文使用的模擬器是由 Unity 和 Unity ML-Agents 構(gòu)建的。模擬道路環(huán)境是由五車道組成的高速公路行車道。其他車輛在距離主車輛一定距離內(nèi)的隨機(jī)車道中心產(chǎn)生。另外，假定其他車輛在大多數(shù)情況下不會(huì)彼此碰撞，并且可以執(zhí)行五個(gè)動(dòng)作（加速，減速，車道改變到右車道，車道改變到左車道，保持當(dāng)前狀態(tài)）。其他車輛的各種行動(dòng)以多種隨機(jī)方式出現(xiàn)，改變了模擬環(huán)境，因此Agent 可以體驗(yàn)許多不同的情況。模擬器的觀測結(jié)果有兩種類型：一種是圖像，另一種是激光雷達(dá)范圍陣列。由于前面有攝像頭，因此每一步都會(huì)觀察到原始像素圖像。 LIDAR傳感器檢測有一個(gè)360度的射線范圍，如果光線掃描到物體，它會(huì)返回主車輛和物體之間的距離。如果沒有障礙物，則返回模擬器每一步的最大感應(yīng)距離。

結(jié)果與結(jié)論

本文提出的駕駛策略算法使用Tensorflow 架構(gòu)[25]實(shí)現(xiàn)的，平均速度，車道變化次數(shù)和超車次數(shù)等數(shù)據(jù)都可以從中讀出。為驗(yàn)證多輸入體系結(jié)構(gòu)的優(yōu)勢(shì)，該體系結(jié)構(gòu)分別將來自攝像機(jī)和LIDAR的數(shù)據(jù)通過CNN和LSTM相結(jié)合，另外還使用了兩個(gè)僅用攝像機(jī)輸入和LIDAR輸入的策略網(wǎng)絡(luò)作為對(duì)比。

比較三種不同的不同輸入的網(wǎng)絡(luò)架構(gòu)：攝像頭，LIDAR，攝像頭和激光雷達(dá)。隨著訓(xùn)練的進(jìn)行，自動(dòng)駕駛車輛會(huì)超越更多的車輛并以更快的速度行駛，而不會(huì)在每個(gè)輸入車輛的環(huán)境中，出現(xiàn)不必要的車道變化。結(jié)果顯示，多輸入架構(gòu)在平均速度和平均超車次數(shù)方面表現(xiàn)出最佳性能，分別為73.54km / h和42.2。但是，當(dāng)使用多輸入架構(gòu)時(shí)，車道變化的數(shù)量最多，其平均值為30.2。盡管所提出的算法的目標(biāo)是減少不必要的車道變化的數(shù)量，但多輸入架構(gòu)的結(jié)果在車道變化的數(shù)量方面是最高的。對(duì)于LIDAR和攝像頭架構(gòu)中，即使前車速度較慢，它們有時(shí)也會(huì)顯示跟隨前方車輛而不更改車道。因此，研究車道變化的數(shù)量是尋找最優(yōu)策略的關(guān)鍵。

在本文中，駕駛策略網(wǎng)絡(luò)充分利用傳統(tǒng)的DAS功能，在大多數(shù)情況下保證了車輛行駛的安全性。使用深度強(qiáng)化學(xué)習(xí)算法訓(xùn)練的自主車輛，在模擬高速公路場景中成功駕駛，所提出的策略網(wǎng)絡(luò)使用多模式輸入，不會(huì)造成不必要的車道變化，在平均速度，車道變化次數(shù)和超車次數(shù)方面，車輛比具有單輸入的車輛更好地駕駛。這項(xiàng)研究的結(jié)果表明，自主車輛可以由受過深度強(qiáng)化學(xué)習(xí)訓(xùn)練的主管來控制。