[首發(fā)于智駕最前沿微信公眾號]當談及自動駕駛模型學習時，經(jīng)常會提到模仿學習的概念。所謂模仿學習，就是模型先看別人怎么做，然后學著去做。自動駕駛中的模仿學習，就是把人類司機在各種路況下的行為做成范例，記錄下看到了什么和做了什么等信息，然后將這些一一對應(yīng)起來當作訓練數(shù)據(jù)，并訓練出一個模型。

當模型訓練好以后，遇到類似場景就可以嘗試輸出類似的人類動作。這種學習方式不需要工程師把每一種情況的規(guī)則一條條寫出來，也不需要設(shè)計一個復(fù)雜的獎勵函數(shù)讓機器在虛擬世界里靠試錯學會開車，只要有質(zhì)量較好的“人類示范”，就能把人的“駕駛風格”灌輸?shù)侥Ｐ屠铩?/p>

模仿學習有不同的實現(xiàn)方式。最直接的叫行為克?。╞ehavior cloning），就是把專家看見與執(zhí)行的對應(yīng)關(guān)系作為監(jiān)督學習任務(wù)，其輸入是傳感器數(shù)據(jù)、前視圖、速度等信息，輸出是方向盤角度、油門剎車等控制量。還有一種思路是逆強化學習（inverse reinforcement learning），它不是直接學“做什么”，而是試圖從人類的行為里反推出一個“潛在的目標函數(shù)”或者偏好，再用這個目標去訓練模型。除此之外，還有對抗式模仿、層次化模仿等更復(fù)雜的變體，這些方法能夠在一定程度上緩解簡單模仿學習在泛化能力和魯棒性上的不足。

模仿學習對自動駕駛有什么用

在自動駕駛這樣高風險的領(lǐng)域，讓模型在真實世界里靠“試錯”學習顯然不現(xiàn)實。模仿學習可以利用已有的人類駕駛數(shù)據(jù)，讓模型在安全的條件下學習“合格駕駛員”的行為模式。

對于很多常見場景，尤其是城市道路或高速路上的常規(guī)操作，模仿學習能教會車輛如何平順變道、如何與前車保持距離、如何在擁堵路段保持合理速度，這種“像人開車”的行為將提升乘客的體驗，并會讓社會有更高的接受度。

此外，模仿學習在工程上好上手、訓練效率也相對更高。模仿學習本質(zhì)上是監(jiān)督學習，訓練目標直接、損失明確，數(shù)據(jù)處理管道成熟。因此在研發(fā)早期，以及做端到端感知-控制的探索時，模仿學習是首選方法。

模仿學習還能把多模態(tài)傳感器的信息（攝像頭、毫米波雷達、LiDAR、里程計等）合并到一個網(wǎng)絡(luò)中，直接從原始感知到控制量學習一條端到端的映射，這在某些應(yīng)用場景能顯著簡化系統(tǒng)架構(gòu)。

模仿學習還有一個好處，就是能把“人類的駕駛習慣”保留下來。人類駕駛員在很多情形里會做出既安全又舒適的動作，像是平滑的加減速、合理的避讓、符合社會駕駛習慣的決策等，都是人類駕駛員可以輕松應(yīng)對的動作。把這些行為灌輸?shù)侥Ｐ屠?，有助于自動駕駛車輛在混合交通環(huán)境中更自然地與人類駕駛者共存，從而減少被其他車輛或行人誤判的風險。

如何用模仿學習訓練模型？

想用模仿學習訓練模型，要先進行采集示范數(shù)據(jù)，然后做數(shù)據(jù)清洗與標注，接著訓練模型并在模擬器或封閉道路上測試，最后再做在線改進與驗證。

采集階段不是簡單地采集更多場景，也不是無腦地堆砌各種場景，而是要找到場景多樣且高質(zhì)量的數(shù)據(jù)，像是白天夜晚、雨雪、高架與城市擁堵、復(fù)雜交叉口等場景場景必須都覆蓋到。訓練時可用卷積神經(jīng)網(wǎng)絡(luò)處理圖像輸入，并把時序信息通過遞歸結(jié)構(gòu)或時間窗口的方式納入，讓模型能記住短時間內(nèi)的動態(tài)變化。

在模型上線之前，需要通過仿真和閉環(huán)測試來驗證模型的魯棒性。單純在靜態(tài)測試集上做得好并不代表閉環(huán)駕駛也能穩(wěn)健運行，控制策略的每一步動作都會改變后續(xù)的狀態(tài)分布，這種分布偏移會導致誤差積累。

為此，要引入在線糾偏機制，如在模型駕駛時讓專家在線糾正，將這些新的“偏離狀態(tài)-專家動作對”加入數(shù)據(jù)集繼續(xù)訓練，像是DAgger（Dataset Aggregation，數(shù)據(jù)集聚合）就是采用的這種方法。還有技術(shù)方案中會先用模仿學習學一個“基礎(chǔ)策略”，再用強化學習或規(guī)則化的規(guī)劃層對其微調(diào)與約束，以增強對稀有或危險場景的處理能力。

當然，模仿學習并不等同于完全放手不設(shè)規(guī)則。為確保自動駕駛系統(tǒng)的安全性，很多技術(shù)方案中會采用混合架構(gòu)，模仿學習負責感知-決策的快速映射，規(guī)劃層負責長時間尺度的路徑規(guī)劃，規(guī)則模塊負責硬性安全約束（比如絕對剎停條件、最小車距限制等）。這種分層與混合的策略不僅可以利用模仿學習的高效性，也能通過規(guī)則化模塊彌補它在極端情況上的不足。

模仿學習的局限與現(xiàn)實挑戰(zhàn)

模仿學習雖好，但其存在泛化能力有限與誤差積累等問題。模仿模型在訓練時學到的是“在那些見過的狀態(tài)里該做什么”，一旦遇到訓練集中沒有覆蓋到的罕見場景，模型將不知道應(yīng)該如何處理。尤其是在序列決策問題中，模型自己的每一步?jīng)Q定都會改變未來觀測的分布，哪怕開始只是輕微偏差，也可能隨著時間放大成嚴重錯誤，這就是所謂的分布偏移或誤差累積問題。

模仿學習主要學習專家示范的內(nèi)容，提供給模型的專家示范總希望是高質(zhì)量的且具代表性的，但人類司機并不完美，總會存在疏忽、習慣性錯誤或?qū)δ承﹫鼍安磺‘數(shù)呐袛唷Ｈ绻Ｐ椭皇?a target="_blank">機械地模仿這些行為，就可能學到不良駕駛習慣。尤其對于人類社會來說，道德和法律層面的約束不是簡單靠模仿就能學會的，如何在多方?jīng)_突情形下如何取舍、如何展現(xiàn)可辯護的決策過程等，都需要額外的規(guī)則與可解釋性的支撐。

端到端的模仿學習模型還存在內(nèi)部決策過程不透明的問題，其安全邊界難以被嚴格界定和驗證。對于汽車這種涉及生命財產(chǎn)安全的關(guān)鍵領(lǐng)域，監(jiān)管與認證體系要求系統(tǒng)具備可解釋的邏輯或明確的安全保證。因此，單純依賴數(shù)據(jù)驅(qū)動的模仿學習，在應(yīng)對復(fù)雜多變的長尾場景時，可能面臨可驗證性不足的挑戰(zhàn)。

要把模仿學習做得足夠魯棒，要覆蓋足夠廣的高質(zhì)量示范數(shù)據(jù)，這就帶來了采集成本高、標注難、隱私與合規(guī)等問題。尤其是極端天氣、罕見事故或復(fù)雜交互場景，本身就少見，要人工制造這些場景又有風險，仿真雖然能補充一部分，但仿真與現(xiàn)實間的差距也會影響模型遷移效果，因此，對于模仿學習來說，數(shù)據(jù)方面的挑戰(zhàn)不容忽視。

最后的話

模仿學習為自動駕駛系統(tǒng)提供了實現(xiàn)擬人化駕駛行為的重要基礎(chǔ)，但其數(shù)據(jù)驅(qū)動的黑箱特性在安全驗證和長尾場景泛化方面存在局限。想應(yīng)用好模仿學習，就要將模仿學習置于一個包含規(guī)則約束、規(guī)劃模塊及多重安全冗余的混合系統(tǒng)架構(gòu)中，從而確保其在發(fā)揮其高效學習優(yōu)勢的同時，更能確保系統(tǒng)的整體行為符合可解釋、可驗證的安全規(guī)范。