[首發(fā)于智駕最前沿微信公眾號(hào)]在談及自動(dòng)駕駛大模型訓(xùn)練時(shí)，有的技術(shù)方案會(huì)采用模仿學(xué)習(xí)，而有些會(huì)采用強(qiáng)化學(xué)習(xí)。同樣作為大模型的訓(xùn)練方式，強(qiáng)化學(xué)習(xí)有何不同？又有什么特點(diǎn)呢？

什么是強(qiáng)化學(xué)習(xí)？

強(qiáng)化學(xué)習(xí)是一種讓機(jī)器通過“試錯(cuò)”學(xué)會(huì)決策的辦法。與監(jiān)督學(xué)習(xí)不同，監(jiān)督學(xué)習(xí)是有人提供示范答案，讓模型去模仿；而強(qiáng)化學(xué)習(xí)不會(huì)把每一步的“正確答案”都告訴你，而是把環(huán)境、動(dòng)作和結(jié)果連起來，讓機(jī)器自己探索哪個(gè)行為長(zhǎng)期看起來更有利，便往那個(gè)行為中去靠。

強(qiáng)化學(xué)習(xí)示意圖，圖片源自：網(wǎng)絡(luò)

這里的“有利”是通過一個(gè)叫做獎(jiǎng)勵(lì)（reward）的信號(hào)來衡量的。獎(jiǎng)勵(lì)可以是正向的，也可以是負(fù)向的，機(jī)器的目標(biāo)是讓長(zhǎng)期累計(jì)的獎(jiǎng)勵(lì)盡可能多。把決策過程抽象成在某個(gè)狀態(tài)下采取某個(gè)動(dòng)作會(huì)進(jìn)入到下一個(gè)狀態(tài)并獲得相應(yīng)的獎(jiǎng)勵(lì)的機(jī)制，這種數(shù)學(xué)化的描述叫做馬爾可夫決策過程。

從定義上看，這個(gè)概念有些晦澀難懂，舉個(gè)簡(jiǎn)單的例子吧。自動(dòng)駕駛系統(tǒng)在駕駛仿真里開車，順利通過一個(gè)路口就可以得到獎(jiǎng)勵(lì)，但撞到路緣或急剎車將被罰分，這些獎(jiǎng)勵(lì)和懲罰會(huì)引導(dǎo)學(xué)習(xí)算法偏向于那些帶來更多正向回報(bào)的駕駛行為。強(qiáng)化學(xué)習(xí)把這樣一整套“感知—決策—反饋—調(diào)整”的循環(huán)自動(dòng)化，讓模型在沒有人逐條教它規(guī)則的情況下也能學(xué)出一套安全的駕駛策略。

為什么強(qiáng)化學(xué)習(xí)會(huì)被用到自動(dòng)駕駛中

自動(dòng)駕駛汽車會(huì)通過各種傳感器識(shí)別路況，但它不是簡(jiǎn)單識(shí)別攝像頭拍攝的圖片或激光雷達(dá)探測(cè)到的點(diǎn)云這么簡(jiǎn)單，它會(huì)不斷與環(huán)境進(jìn)行交互。自動(dòng)駕駛汽車需要在復(fù)雜且動(dòng)態(tài)的交通環(huán)境里做出連續(xù)決策，這些決策不僅影響當(dāng)前瞬間的安全，也會(huì)改變未來的交通態(tài)勢(shì)。

圖片源自：網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)剛好擅長(zhǎng)解決這種“序列決策”的問題。相比傳統(tǒng)方案中把每種場(chǎng)景寫成規(guī)則的方式，強(qiáng)化學(xué)習(xí)能夠把環(huán)境狀態(tài)（來自攝像頭、雷達(dá)、激光雷達(dá)以及速度、加速度等車載信息）映射成動(dòng)作（轉(zhuǎn)向、加速、減速等），并通過長(zhǎng)期回報(bào)來優(yōu)化策略。

這種端到端或者半端到端的學(xué)習(xí)方式讓模型在面對(duì)復(fù)雜交互、非線性場(chǎng)景時(shí)比規(guī)則系統(tǒng)更具適應(yīng)性。很多技術(shù)方案中會(huì)把強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)結(jié)合起來，處理高維輸入，然后再輸出決策。

在安全可控的仿真環(huán)境里，強(qiáng)化學(xué)習(xí)還可以以極大的樣本量去嘗試各種邊緣情況，積累經(jīng)驗(yàn)，之后再把模型遷移或微調(diào)到真實(shí)車輛上，這將極大優(yōu)化模型的訓(xùn)練效果。

簡(jiǎn)而言之，當(dāng)問題表現(xiàn)為“連續(xù)決策、長(zhǎng)期回報(bào)、即時(shí)反饋”時(shí)，強(qiáng)化學(xué)習(xí)提供了一條比規(guī)則更有彈性的途徑。

強(qiáng)化學(xué)習(xí)如何應(yīng)用到自動(dòng)駕駛中

將自動(dòng)駕駛系統(tǒng)拆分開看，其實(shí)是一條連續(xù)的系統(tǒng)，其最前端是感知，中間是決策規(guī)劃，末端是執(zhí)行控制。強(qiáng)化學(xué)習(xí)可以在多個(gè)環(huán)節(jié)發(fā)揮作用，但更多是用在決策與控制之間。

感知模塊負(fù)責(zé)把攝像頭、雷達(dá)、激光雷達(dá)這些原始數(shù)據(jù)處理成如周圍車輛的位置和速度、車道線、交通標(biāo)志等對(duì)路況有用的表征信息。決策模塊要基于這些信息決定接下來幾秒鐘內(nèi)的動(dòng)作。

圖片源自：網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)的優(yōu)勢(shì)在于，它可以把決策看作是一個(gè)優(yōu)化問題，其不只是考慮當(dāng)前動(dòng)作的即時(shí)好壞，更會(huì)衡量動(dòng)作序列在未來帶來的累計(jì)效果。因此在跟車、換道、避障和復(fù)雜交叉口應(yīng)對(duì)這類需要考慮連貫動(dòng)作與長(zhǎng)期影響的任務(wù)上，強(qiáng)化學(xué)習(xí)能學(xué)出比單步規(guī)則更流暢、可預(yù)測(cè)的行為。

在很多的技術(shù)方案中，強(qiáng)化學(xué)習(xí)不僅可以單獨(dú)作為一個(gè)端到端控制器，從傳感器輸入直接學(xué)習(xí)輸出控制命令，也可以作為決策層的一個(gè)組件，與傳統(tǒng)規(guī)劃器或約束優(yōu)化器協(xié)同工作。前者在學(xué)出來后更簡(jiǎn)潔，但可解釋性和可驗(yàn)證性較差；后者能把強(qiáng)化學(xué)習(xí)產(chǎn)生的策略納入現(xiàn)有安全約束下進(jìn)行檢查和修正，從而兼顧靈活性和安全性。

現(xiàn)階段很多常見的做法是先用模擬器做大量訓(xùn)練，得到一個(gè)初步策略，再用監(jiān)督學(xué)習(xí)的方法做預(yù)訓(xùn)練，把人類駕駛數(shù)據(jù)用作引導(dǎo)，最后在仿真里用強(qiáng)化學(xué)習(xí)精調(diào)。這樣的復(fù)合流程能顯著提升模型訓(xùn)練效率并降低在真實(shí)世界試錯(cuò)的風(fēng)險(xiǎn)。

強(qiáng)化學(xué)習(xí)有什么問題？

強(qiáng)化學(xué)習(xí)的概念看起來的確不錯(cuò)，可以讓大模型自己學(xué)習(xí)，并研究出一套可行的駕駛策略。但想把它安全可靠地部署到車輛上，并不是一朝一夕的事情。其最大的問題就是安全與魯棒性。

仿真和真實(shí)世界一定會(huì)存在差距，這個(gè)差距會(huì)讓在仿真中表現(xiàn)良好的策略在實(shí)車上出現(xiàn)意外行為。環(huán)境變化、傳感器噪聲、極端天氣、未見過的交通流模式等都會(huì)考驗(yàn)?zāi)Ｐ偷姆夯芰?。深度?qiáng)化學(xué)習(xí)一般還是黑盒式的，難以解釋模型為什么在某個(gè)時(shí)刻做出某個(gè)決定，這給責(zé)任歸屬、事故分析和安全驗(yàn)證帶來了極大挑戰(zhàn)。

強(qiáng)化學(xué)習(xí)的訓(xùn)練成本也是很現(xiàn)實(shí)的問題，強(qiáng)化學(xué)習(xí)需要大量多樣的樣本來覆蓋邊緣情況，光靠真實(shí)道路采集不僅危險(xiǎn)還很慢，因此很多訓(xùn)練必須在高質(zhì)量的仿真中完成，而高保真模擬本身就需要很高的成本投入且需不斷精細(xì)化，這無疑提高了成本。

強(qiáng)化學(xué)習(xí)還會(huì)面臨在線學(xué)習(xí)和離線學(xué)習(xí)之間的取舍。完全在線學(xué)習(xí)在真實(shí)道路上意味著系統(tǒng)會(huì)在行駛過程中不斷試錯(cuò)，這必然會(huì)帶來很多的風(fēng)險(xiǎn)。而長(zhǎng)期離線訓(xùn)練則可能讓模型落后于環(huán)境變化，為此，就就需要周期性地遷移學(xué)習(xí)或進(jìn)行持續(xù)集成。

最后的話

強(qiáng)化學(xué)習(xí)的核心價(jià)值在于為序列決策問題提供系統(tǒng)化的解決框架，尤其在處理長(zhǎng)期目標(biāo)、復(fù)雜交互與高維感知方面展現(xiàn)出很強(qiáng)的潛力。但想將其從算法潛力變成可靠應(yīng)用的轉(zhuǎn)化，始終面臨可驗(yàn)證性、安全約束與工程落地的核心挑戰(zhàn)。當(dāng)前可以將強(qiáng)化學(xué)習(xí)視為一種強(qiáng)大的優(yōu)化與決策組件，在明確邊界內(nèi)與傳統(tǒng)方法進(jìn)行架構(gòu)性整合。

審核編輯 黃宇