本節(jié)課我們將繼續(xù)學習無人車的預測模塊，包括預測目標車道，遞歸神經(jīng)網(wǎng)絡及其在目標車道的應用和軌跡的生成。

1、預測目標車道

使用車道序列框架作為目標是為了讓道路上的物體生成軌跡，這是一個復雜的問題 。

我們先從一個稍微簡單的問題開始——預測車道線段之間的過渡。假設我們在車道段0中檢測到一輛車，并且我們會預測在接下來的幾個時間段它將如何行使?，F(xiàn)在有兩個顯而易見的選擇：

它可能停留在車道段0然后向右轉；

或者可能轉向車道段1然后直行。

這個分析實際上是我們前進的一大步——我們已經(jīng)將預測問題簡化為選擇問題。

將“預測問題”簡化為“選擇問題”

我們可以通過計算每個車道序列的概率，來選擇車輛最有可能選取的車道順序。此時我們需要一個模型，將車輛狀態(tài)和車道段作為輸入，通過該模型的計算得出車輛可能采用每個車道序列的概率。

基礎模型

在完成概率計算的同時，我們希望模型能夠學習新的行為，因此要使用觀測數(shù)據(jù)對模型進行經(jīng)驗性訓練。在訓練中，我們將真實的車輛行為提供給模型，不僅包括車道段和車輛的狀態(tài)，還包括車輛最終選擇哪條車道序列。當記錄數(shù)據(jù)隨著時間而增加，模型就能夠實現(xiàn)自我迭代更新，精確度不斷提升。

其中，每個記錄將由觀察對象跟隨的車道段序列和對象的相關狀態(tài)組成。在每個時間點，對象占用一段并具有特定的狀態(tài)，整個記錄由一系列車道段和對象的相關狀態(tài)組成。

模型的經(jīng)驗性訓練示意

2、遞歸神經(jīng)網(wǎng)絡

遞歸神經(jīng)網(wǎng)絡或 Recurrent Neural Network（以下簡稱 RNN）是一種利用時間序列數(shù)據(jù)特征的預測方式。在研究 RNN 之前，我們需要先來回顧一下神經(jīng)網(wǎng)絡。

神經(jīng)網(wǎng)絡是可訓練的多層模型，神經(jīng)網(wǎng)絡從輸入提取高級特征，并使用這些特征來計算得到輸出。例如，如果你有一個神經(jīng)網(wǎng)絡來判斷圖像中是否包括汽車從而完成分類，網(wǎng)絡的中間層將提取特征，如輪胎和窗戶。神經(jīng)網(wǎng)絡有許多結構，一個基本的神經(jīng)網(wǎng)絡首先得到輸入，隨后將數(shù)據(jù)通過隱藏層，然后經(jīng)過處理得到輸出。這種結果有時也被稱作多層感知網(wǎng)絡或 MLP。

在訓練過程中，會有很多訓練數(shù)據(jù)輸入模型，每一個數(shù)據(jù)都由原始的數(shù)據(jù)和對應的標簽組成。例如，輸入數(shù)據(jù)是一張圖片，標簽就是一個包含汽車的符號或是其他符號，神經(jīng)網(wǎng)絡從數(shù)據(jù)中學習的方式叫做后向傳播。首先，神經(jīng)網(wǎng)絡得到輸出并產(chǎn)生輸出；然后，計算機比較輸出與真值之間的誤差；接著，這種誤差回傳到整個網(wǎng)絡，中間的隱藏層根據(jù)觀察到的差別權重判斷調整其中的中間值。這樣可以在未來提高神經(jīng)網(wǎng)絡的準確率。

我們可以建立像這樣的多重結構的遞歸神經(jīng)網(wǎng)絡，我們稱之為 MLP 單元。從數(shù)據(jù)序列中提取出高級特征，每個 MLP 單元將序列的一個要素作為輸入，并預測序列的下一個要素作為輸出，為了對元素之間的順序關系建立模型，我們在每個單元之間建立一個額外的連接，這意味著每個單元根據(jù)原始輸入和前一個單元的輸入進行預測，這是 RNN 的基本結構。

3、遞歸神經(jīng)網(wǎng)絡在目標車道預測的應用

Apollo 會使用 RNN 建立一個模型來預測車輛的目標車道。首先，我們?yōu)檐嚨佬蛄刑峁┮粋€ RNN 模型，為相關車輛狀態(tài)提供另一個 RNN 模型，然后連接這兩個 RNN 的輸出并將它們饋送到另一個神經(jīng)網(wǎng)絡，該神經(jīng)網(wǎng)絡會計算每個車道序列的概率，具有最高概率的車道序列是我們預測目標車輛將遵循的序列。

為了訓練這個網(wǎng)絡，我們使用包含一個車道序列的現(xiàn)有記錄、相關的對象狀態(tài)和一個標簽，用于指示對象是否遵循此特定的車道序列。在訓練中，我們比較網(wǎng)絡輸出和真值標記，并使用反向傳播來訓練網(wǎng)絡。

4、軌跡生成

軌跡生成是預測的最后一步，一旦我們預測到物體的車道序列，我們就可以預測物體的軌跡。在任何兩點 A 和 B 之間，物體的行進軌跡有無限的可能，我們如何預測最有可能的軌跡？

我們可以先通過設置約束條件， 來去除大部分候選軌跡。首先，我們假設汽車將與目標車道的中心對齊，去除車輛無法實際執(zhí)行的軌跡，再通過考慮車輛當前的速度和加速度從剩余軌跡中進行選擇。

實際上，我們并沒有列出所有可能的軌跡并逐一去除他們；相反，我們只是在數(shù)學理論上來應用這一想法，注意車輛在亮點的位置和方位，這兩個要素表示運動模型的初始狀態(tài)和最終狀態(tài)，我們可以使用這兩個條件來擬合一個多項式模型。

在大多數(shù)情況下，這種多項式足以進行預測。

恭喜你，你已經(jīng)學會了無人車如何預測道路上物體的行為，以及如何使用軌跡來描述他們的行為。讓我們回顧一下“預測”模塊的主要內容：

首先，我們介紹了如何將負責的車輛運動轉換為車道轉換序列，這使我們能夠大大減少場景的數(shù)量并更快地進行預測；

然后，我們介紹了如何使用現(xiàn)有觀測值以車道序列表示訓練神經(jīng)網(wǎng)絡來進行預測；

最后，我們將車道序列預測與車輛物理結合起來，為每個物體生成估計的軌跡，運動預測對于在規(guī)劃中構建無碰撞的安全路徑來說至關重要。

希望 Apollo 預測課程的內容能讓你直觀地了解無人車在實際運行中的預測邏輯。