決策是自動駕駛的關(guān)鍵部分之一，它首先融合多傳感信息，然后根據(jù)駕駛需求進行任務決策，接著在能避開可能存在的障礙物前提下，通過一些特定的約束條件，規(guī)劃出兩點間多條可選安全路徑和，并在這些路徑中選取一條最優(yōu)的路徑作為車輛行駛軌跡。然而，要實現(xiàn)決策規(guī)劃是一個復雜的系統(tǒng)工程，需要精準感知環(huán)境，理解交通參與者的意圖并能夠在廣泛豐富的場景下，實現(xiàn)穩(wěn)定安全的無人駕駛。

需要面對真實路況中的大量 “不確定性”。這種不確定性是貫穿上下游的，并且感知局限性、行為預測偶然性、規(guī)控交互性共同交織的挑戰(zhàn)。

1、?什么是確定性決策？

對于確定性決策問題，其在每個狀態(tài)下都有已知的可選動作，而每個動作都會導致一個確定的新狀態(tài)。自動駕駛傳統(tǒng)的行為決策、軌跡規(guī)劃、路徑規(guī)劃，都可以看作是確定性的決策。如左下圖，在自動駕駛卡車行駛的某個時刻，自車以及他車的狀態(tài)加上環(huán)境信息，即是我們此時的狀態(tài)(state)。在此狀態(tài)下，自車可以有多個宏觀動作(action)可以選擇，比如向左前方變道。

完成此動作后，自車狀態(tài)可由變道軌跡確定，他車狀態(tài)可由預測模塊確定，因此新的狀態(tài)也是可以唯一確定的。重復此過程，并探索其他不同的宏觀動作，我們便構(gòu)建了一個確定性的搜索樹。對于一個確定性的搜索樹進行完整地求解需要從后往前遍歷搜索樹的各個節(jié)點，如右圖。

根據(jù)某狀態(tài)下最大收益的action確定該狀態(tài)的收益，進而確定導致該狀態(tài)的action的收益。重復該過程則可以獲得在初始狀態(tài)下可以獲得的最大收益，同時得到確保該收益所需要執(zhí)行的行為動作序列。

2、什么是非確定性決策？

確定性的決策問題構(gòu)建和求解都比較簡單。但真實環(huán)境中，其他車輛的行為可能存在各種不確定性，因此執(zhí)行同一個action，其可能以一定概率導致不同的新狀態(tài)。如左下圖，當從初始狀態(tài)，自車選擇往左前變道后，右側(cè)車輛在此過程可能保持勻速，從而自車仍然有往右變道超越的空間。

但如果右車此時加速，則會導致另外一個狀態(tài)，即自車不再有向右變道的空間。如果其他車輛不同action的概率已知，我們則構(gòu)建了一個隨機決策樹。隨機決策樹求解如右圖。求解過程和確定性決策樹的區(qū)別是，每個action的收益是其導致的各個隨機狀態(tài)收益的期望平均。

由于隨機狀態(tài)導致的分岔，隨機搜索樹的復雜度相比確定性搜索樹呈指數(shù)級增加，同時隨機決策問題的解不再是一個action序列，而是一個決策樹。

3、非確定性決策如何反常識（1）

從上面看，非確定性決策問題的求解和確定性決策沒有本質(zhì)區(qū)別，都是對搜索樹的反向遍歷。但工程實踐中，了解它們的區(qū)別很有意義。無論是確定性還是非確定性決策，其搜索樹都存在維度爆炸的問題，因此工程上很少使用暴力窮舉的解法。

對于確定性決策問題，比如行為序列決策，或軌跡/路徑規(guī)劃，都會把一整條動作的序列(sequence of actons)作為一個侯選解，進而在動作序列的解空間中找到最優(yōu)序列。

雖然該過程相比暴力窮舉搜索樹并沒有簡化，但是我們一是可以利用梯度信息來加速求解（如基于優(yōu)化的軌跡/路徑規(guī)劃）；二是可以利用domain knowledge來對解空間進行簡化，從而方便采樣求解（比如lattice planner）。

確定動作序列求解法在確定性決策規(guī)劃問題里確實獲得了成功，因此很自然地很多人希望把這種方法套用到非確定性問題里。但這樣會帶來一些問題。

對比右圖，右下為之前得到的非確定性問題的最優(yōu)解。而右上為確定動作序列套用到非確定搜索樹上的形式：動作序列在每個時間步會采用同樣的動作，無論此時是何種狀態(tài)。

可以看出，確定動作序列無法構(gòu)建出非確定問題決策樹的真實形式。那這具體會帶來什么問題呢？

4、非確定性決策如何反常識（2）

考慮這樣一個例子。在雙車道的高速公路上，自車以80km/h的速度飛馳。但前方出現(xiàn)了一個50km/h的慢車，左前方更遠處還有一個30km/h的慢車。

預測模塊告知左前車有50%的可能即將變道。我們需要在此時規(guī)劃最優(yōu)的策略，從而避免本車被慢車阻擋。如果我們套用確定動作序列的求解方法，我們會發(fā)現(xiàn)我們只有3種可選的方案。

將3種方案套用到搜索樹上，即可得到各個方案的收益：方案1是直接減速跟隨50km/h的前車，損失為-5；方案2、3為往左變道然后保持車道或者再往右變道，各自有50%的概率被慢車阻擋，期望損失為-7.5。

此時如果我們對比三個方案，發(fā)現(xiàn)方案一損失最小，故而應該是最優(yōu)的方案。但實際上真的是這樣的嗎？

如果我們采用右圖中的策略：先往左變道；如果前車保持車道，則自車再往右變道；如果前車往右變道，則自車保持車道。按此策略，我們100%可以避免被慢車阻擋，從而損失為0，故這才是最優(yōu)策略。

出現(xiàn)這樣的差異，原因在于確定動作序列求解法無法考慮自車可以在未來根據(jù)當時狀況確定最優(yōu)策略，因而認為如果向左變道，自車會有50%的概率被慢車阻擋，最后自然保守地選擇了跟隨前車。

我們生活中有時也會犯這樣的錯誤。我們規(guī)劃人生時，要么不考慮未知情況，當意外發(fā)生時則毫無準備；要么考慮了各種意外，但認為無論采用何種方案都會有遭遇意外的風險，從而變得畏首畏尾。

如果我們在考慮未來的各種可能時，能夠規(guī)劃將來不同情況下各自的應對策略，則可以做出更為準確的抉擇。

5、自動駕駛有哪些非確定性決策問題

自動駕駛中的不確定性決策主要有兩類問題。一種是宏觀問題，其考慮的動作都是宏觀的語義動作，而狀態(tài)轉(zhuǎn)移則是該動作完整執(zhí)行之后的結(jié)果。

這樣構(gòu)建方便規(guī)劃到更長遠的情況，從而避免局部最優(yōu)，適合于一些長周期宏觀問題，比如規(guī)避擁堵等。這種構(gòu)建方式得到的搜索樹簡單，求解方便。難點在于如何對狀態(tài)轉(zhuǎn)移進行準確估計。

另一種是微觀問題，其動作action是系統(tǒng)動力學輸入，如加速度。而狀態(tài)轉(zhuǎn)移則是系統(tǒng)動力學模型。此類問題能精細地考慮短周期內(nèi)的敏感問題，比如他車行為預測不確定時自車的避障策略。此類問題建模簡單，但決策樹較復雜，求解實時性是主要難點。

不確定性決策是一個非常廣非常深的學科，無論是其建模還是求解都很多值得鉆研的知識。因此這次分享的主要目的不是做一個綜述，而是介紹非確定性決策和我們常識中的決策有何種不同，以及如果盲目套用傳統(tǒng)決策方法會帶來什么問題。這樣我們在今后的工程實踐中能夠更好地選擇解決非確定性決策問題的方法。

審核編輯：劉清