本節(jié)課我們將繼續(xù)學(xué)習(xí)無人車的預(yù)測模塊，包括預(yù)測目標(biāo)車道，遞歸神經(jīng)網(wǎng)絡(luò)及其在目標(biāo)車道的應(yīng)用和軌跡的生成。

1、預(yù)測目標(biāo)車道

使用車道序列框架作為目標(biāo)是為了讓道路上的物體生成軌跡，這是一個(gè)復(fù)雜的問題 。

我們先從一個(gè)稍微簡單的問題開始——預(yù)測車道線段之間的過渡。假設(shè)我們在車道段0中檢測到一輛車，并且我們會(huì)預(yù)測在接下來的幾個(gè)時(shí)間段它將如何行使?，F(xiàn)在有兩個(gè)顯而易見的選擇：

它可能停留在車道段0然后向右轉(zhuǎn)；

或者可能轉(zhuǎn)向車道段1然后直行。

這個(gè)分析實(shí)際上是我們前進(jìn)的一大步——我們已經(jīng)將預(yù)測問題簡化為選擇問題。

將“預(yù)測問題”簡化為“選擇問題”

我們可以通過計(jì)算每個(gè)車道序列的概率，來選擇車輛最有可能選取的車道順序。此時(shí)我們需要一個(gè)模型，將車輛狀態(tài)和車道段作為輸入，通過該模型的計(jì)算得出車輛可能采用每個(gè)車道序列的概率。

基礎(chǔ)模型

在完成概率計(jì)算的同時(shí)，我們希望模型能夠?qū)W習(xí)新的行為，因此要使用觀測數(shù)據(jù)對模型進(jìn)行經(jīng)驗(yàn)性訓(xùn)練。在訓(xùn)練中，我們將真實(shí)的車輛行為提供給模型，不僅包括車道段和車輛的狀態(tài)，還包括車輛最終選擇哪條車道序列。當(dāng)記錄數(shù)據(jù)隨著時(shí)間而增加，模型就能夠?qū)崿F(xiàn)自我迭代更新，精確度不斷提升。

其中，每個(gè)記錄將由觀察對象跟隨的車道段序列和對象的相關(guān)狀態(tài)組成。在每個(gè)時(shí)間點(diǎn)，對象占用一段并具有特定的狀態(tài)，整個(gè)記錄由一系列車道段和對象的相關(guān)狀態(tài)組成。

模型的經(jīng)驗(yàn)性訓(xùn)練示意

2、遞歸神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)或 Recurrent Neural Network（以下簡稱 RNN）是一種利用時(shí)間序列數(shù)據(jù)特征的預(yù)測方式。在研究 RNN 之前，我們需要先來回顧一下神經(jīng)網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)是可訓(xùn)練的多層模型，神經(jīng)網(wǎng)絡(luò)從輸入提取高級特征，并使用這些特征來計(jì)算得到輸出。例如，如果你有一個(gè)神經(jīng)網(wǎng)絡(luò)來判斷圖像中是否包括汽車從而完成分類，網(wǎng)絡(luò)的中間層將提取特征，如輪胎和窗戶。神經(jīng)網(wǎng)絡(luò)有許多結(jié)構(gòu)，一個(gè)基本的神經(jīng)網(wǎng)絡(luò)首先得到輸入，隨后將數(shù)據(jù)通過隱藏層，然后經(jīng)過處理得到輸出。這種結(jié)果有時(shí)也被稱作多層感知網(wǎng)絡(luò)或 MLP。

在訓(xùn)練過程中，會(huì)有很多訓(xùn)練數(shù)據(jù)輸入模型，每一個(gè)數(shù)據(jù)都由原始的數(shù)據(jù)和對應(yīng)的標(biāo)簽組成。例如，輸入數(shù)據(jù)是一張圖片，標(biāo)簽就是一個(gè)包含汽車的符號或是其他符號，神經(jīng)網(wǎng)絡(luò)從數(shù)據(jù)中學(xué)習(xí)的方式叫做后向傳播。首先，神經(jīng)網(wǎng)絡(luò)得到輸出并產(chǎn)生輸出；然后，計(jì)算機(jī)比較輸出與真值之間的誤差；接著，這種誤差回傳到整個(gè)網(wǎng)絡(luò)，中間的隱藏層根據(jù)觀察到的差別權(quán)重判斷調(diào)整其中的中間值。這樣可以在未來提高神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。

我們可以建立像這樣的多重結(jié)構(gòu)的遞歸神經(jīng)網(wǎng)絡(luò)，我們稱之為 MLP 單元。從數(shù)據(jù)序列中提取出高級特征，每個(gè) MLP 單元將序列的一個(gè)要素作為輸入，并預(yù)測序列的下一個(gè)要素作為輸出，為了對元素之間的順序關(guān)系建立模型，我們在每個(gè)單元之間建立一個(gè)額外的連接，這意味著每個(gè)單元根據(jù)原始輸入和前一個(gè)單元的輸入進(jìn)行預(yù)測，這是 RNN 的基本結(jié)構(gòu)。

3、遞歸神經(jīng)網(wǎng)絡(luò)在目標(biāo)車道預(yù)測的應(yīng)用

Apollo 會(huì)使用 RNN 建立一個(gè)模型來預(yù)測車輛的目標(biāo)車道。首先，我們?yōu)檐嚨佬蛄刑峁┮粋€(gè) RNN 模型，為相關(guān)車輛狀態(tài)提供另一個(gè) RNN 模型，然后連接這兩個(gè) RNN 的輸出并將它們饋送到另一個(gè)神經(jīng)網(wǎng)絡(luò)，該神經(jīng)網(wǎng)絡(luò)會(huì)計(jì)算每個(gè)車道序列的概率，具有最高概率的車道序列是我們預(yù)測目標(biāo)車輛將遵循的序列。

為了訓(xùn)練這個(gè)網(wǎng)絡(luò)，我們使用包含一個(gè)車道序列的現(xiàn)有記錄、相關(guān)的對象狀態(tài)和一個(gè)標(biāo)簽，用于指示對象是否遵循此特定的車道序列。在訓(xùn)練中，我們比較網(wǎng)絡(luò)輸出和真值標(biāo)記，并使用反向傳播來訓(xùn)練網(wǎng)絡(luò)。

4、軌跡生成

軌跡生成是預(yù)測的最后一步，一旦我們預(yù)測到物體的車道序列，我們就可以預(yù)測物體的軌跡。在任何兩點(diǎn) A 和 B 之間，物體的行進(jìn)軌跡有無限的可能，我們?nèi)绾晤A(yù)測最有可能的軌跡？

我們可以先通過設(shè)置約束條件， 來去除大部分候選軌跡。首先，我們假設(shè)汽車將與目標(biāo)車道的中心對齊，去除車輛無法實(shí)際執(zhí)行的軌跡，再通過考慮車輛當(dāng)前的速度和加速度從剩余軌跡中進(jìn)行選擇。

實(shí)際上，我們并沒有列出所有可能的軌跡并逐一去除他們；相反，我們只是在數(shù)學(xué)理論上來應(yīng)用這一想法，注意車輛在亮點(diǎn)的位置和方位，這兩個(gè)要素表示運(yùn)動(dòng)模型的初始狀態(tài)和最終狀態(tài)，我們可以使用這兩個(gè)條件來擬合一個(gè)多項(xiàng)式模型。

在大多數(shù)情況下，這種多項(xiàng)式足以進(jìn)行預(yù)測。

恭喜你，你已經(jīng)學(xué)會(huì)了無人車如何預(yù)測道路上物體的行為，以及如何使用軌跡來描述他們的行為。讓我們回顧一下“預(yù)測”模塊的主要內(nèi)容：

首先，我們介紹了如何將負(fù)責(zé)的車輛運(yùn)動(dòng)轉(zhuǎn)換為車道轉(zhuǎn)換序列，這使我們能夠大大減少場景的數(shù)量并更快地進(jìn)行預(yù)測；

然后，我們介紹了如何使用現(xiàn)有觀測值以車道序列表示訓(xùn)練神經(jīng)網(wǎng)絡(luò)來進(jìn)行預(yù)測；

最后，我們將車道序列預(yù)測與車輛物理結(jié)合起來，為每個(gè)物體生成估計(jì)的軌跡，運(yùn)動(dòng)預(yù)測對于在規(guī)劃中構(gòu)建無碰撞的安全路徑來說至關(guān)重要。

希望 Apollo 預(yù)測課程的內(nèi)容能讓你直觀地了解無人車在實(shí)際運(yùn)行中的預(yù)測邏輯。