[首發(fā)于智駕最前沿微信公眾號(hào)]在自動(dòng)駕駛領(lǐng)域，端到端（End-to-End）是指從感知環(huán)境的原始數(shù)據(jù)到車(chē)輛實(shí)際控制指令，全部交給一個(gè)統(tǒng)一的深度學(xué)習(xí)模型來(lái)完成。這和傳統(tǒng)的模塊化自動(dòng)駕駛系統(tǒng)不一樣，模塊化自動(dòng)駕駛系統(tǒng)會(huì)先識(shí)別道路和障礙物，再做行為預(yù)測(cè)，再規(guī)劃路徑，最后輸出控制動(dòng)作。

端到端方法則把這些步驟融合起來(lái)，直接將輸入的傳感器信息映射到輸出的方向盤(pán)轉(zhuǎn)角、加速或剎車(chē)等控制量。這樣的方案看起來(lái)更簡(jiǎn)單，也更“聰明”，可以讓自動(dòng)駕駛汽車(chē)學(xué)到更精細(xì)的駕駛策略。

什么是黑盒？

但只要談及到端到端，就會(huì)有一個(gè)離不開(kāi)的話(huà)題，那就是“黑盒現(xiàn)象”。

簡(jiǎn)單理解黑盒的概念，就是外界很難知道這個(gè)模型內(nèi)部是怎么做判斷的，它為什么會(huì)做出某個(gè)決策。

在人類(lèi)駕駛員的思維里，我們可以解釋為什么看到紅燈停、看到行人要慢行；但在端到端深度學(xué)習(xí)模型里，我們只能看到輸入的數(shù)據(jù)和輸出的動(dòng)作，卻看不到中間的決策邏輯，這是一個(gè)不透明的系統(tǒng)。

端到端模型的“黑盒”特性，本質(zhì)上源于其底層架構(gòu)。以卷積神經(jīng)網(wǎng)絡(luò)及更復(fù)雜的深層神經(jīng)網(wǎng)絡(luò)為例，這些模型擁有成千上萬(wàn)的參數(shù)與節(jié)點(diǎn)，經(jīng)過(guò)訓(xùn)練后所形成的輸入—輸出映射是高度非線(xiàn)性且內(nèi)部交織的。

盡管它們能夠?qū)W習(xí)到極為復(fù)雜的對(duì)應(yīng)關(guān)系，但我們只能將其整體視為一個(gè)復(fù)雜的“函數(shù)”，而無(wú)法像理解傳統(tǒng)程序那樣，逐步跟蹤并解釋其內(nèi)部的推理過(guò)程。

黑盒問(wèn)題在自動(dòng)駕駛這類(lèi)對(duì)安全性要求極高的應(yīng)用中影響極大。當(dāng)車(chē)輛出現(xiàn)誤判或發(fā)生事故時(shí)，必須能夠追溯哪里出現(xiàn)了問(wèn)題，究竟是環(huán)境感知出錯(cuò)、決策邏輯有誤，還是訓(xùn)練數(shù)據(jù)本身存在偏差？

然而，由于模型內(nèi)部的工作機(jī)制難以拆解和追溯，使得事故分析、責(zé)任界定與系統(tǒng)改進(jìn)都變得異常困難。

深度學(xué)習(xí)為什么會(huì)讓端到端系統(tǒng)變成黑盒

要理解端到端自動(dòng)駕駛系統(tǒng)為什么容易變成黑盒，得先從深度學(xué)習(xí)內(nèi)部的特性談起。深度學(xué)習(xí)依賴(lài)大量的訓(xùn)練數(shù)據(jù)和參數(shù)調(diào)整讓模型學(xué)會(huì)從輸入到輸出的映射。也就是說(shuō)，自動(dòng)駕駛模型模型通過(guò)學(xué)習(xí)很多的例子來(lái)學(xué)會(huì)開(kāi)車(chē)，這一過(guò)程不涉及明確的規(guī)則或邏輯推演。

這樣其實(shí)會(huì)導(dǎo)致兩個(gè)問(wèn)題，一是內(nèi)部參數(shù)是高度聯(lián)動(dòng)的，單獨(dú)看某一層或某幾個(gè)節(jié)點(diǎn)很難解釋整體輸出到底意味著什么；二是這種映射形式本身就不是人為設(shè)計(jì)的，而是通過(guò)優(yōu)化目標(biāo)（Lossfunction）和大量數(shù)據(jù)學(xué)習(xí)得到，它不像傳統(tǒng)代碼那樣每一步都有明確指令。

一段式端到端示意圖，圖片源自：網(wǎng)絡(luò)

舉個(gè)常見(jiàn)的例子，訓(xùn)練一個(gè)圖像識(shí)別模型來(lái)判斷路邊的行人，這個(gè)模型內(nèi)部可能包含成千上萬(wàn)的卷積核和權(quán)重參數(shù)，它們組合在一起才能得出最終結(jié)論。這個(gè)組合過(guò)程并沒(méi)有可解釋的邏輯，而是一種統(tǒng)計(jì)學(xué)習(xí)的結(jié)果。

盡管我們可以用一些可視化技術(shù)看哪些像素區(qū)域?qū)敵鲇绊懕容^大，但這只能給出部分信息，并不能告訴我們模型理解的“真正邏輯”。這樣的特性讓整個(gè)判斷過(guò)程出現(xiàn)黑盒效應(yīng)。

在自動(dòng)駕駛端到端系統(tǒng)中，輸入可能不僅是圖像，還有激光雷達(dá)點(diǎn)云、雷達(dá)數(shù)據(jù)、定位數(shù)據(jù)等多模態(tài)信息。模型需要整合這些信息來(lái)做出控制決策，這進(jìn)一步增加了解釋難度。數(shù)據(jù)越復(fù)雜、模型越深，黑盒效應(yīng)就越明顯。

黑盒背后的安全性和信任問(wèn)題

黑盒帶來(lái)的最大的問(wèn)題，就是在遇到錯(cuò)誤或者事故時(shí)無(wú)法清晰地追責(zé)和修正。在模塊化的自動(dòng)駕駛架構(gòu)中，如果車(chē)輛在紅綠燈前猶豫或者理解錯(cuò)誤，還可以檢查具體的檢測(cè)模塊、跟蹤模塊、規(guī)劃模塊等，逐一找出問(wèn)題所在。但是在端到端模型中，即便知道最終結(jié)果與預(yù)期差異巨大，也很難從海量參數(shù)中找到根本原因。

這也導(dǎo)致了責(zé)任歸屬和可驗(yàn)性問(wèn)題。監(jiān)管機(jī)構(gòu)、測(cè)試人員和乘客都希望知道自動(dòng)駕駛系統(tǒng)在做什么，以及它為什么會(huì)做出這樣的決策。黑盒模型的這種不透明性讓監(jiān)管變得更加困難，尤其是在不同法律和標(biāo)準(zhǔn)環(huán)境下，黑盒模型更難做到符合當(dāng)?shù)氐囊蟆?/p>

此外，如果自動(dòng)駕駛系統(tǒng)在一些邊緣場(chǎng)景中表現(xiàn)不穩(wěn)定，根本無(wú)法解釋不穩(wěn)定的原因，這將無(wú)法保證自動(dòng)駕駛系統(tǒng)的可靠性和安全性。

為什么人們?nèi)匀辉敢庋芯慷说蕉俗詣?dòng)駕駛

既然黑盒效應(yīng)帶來(lái)的問(wèn)題這么多，為什么各車(chē)企還是會(huì)投入大量的人力和物力去研究？這其實(shí)是因?yàn)槎说蕉朔椒ù_實(shí)有一些潛在優(yōu)勢(shì)。

端到端的一個(gè)顯著的優(yōu)勢(shì)就是它可以自動(dòng)從原始數(shù)據(jù)中學(xué)習(xí)如何駕駛，而不需要人工設(shè)計(jì)中間模塊。在傳統(tǒng)系統(tǒng)中，感知、預(yù)測(cè)、規(guī)劃、控制這些模塊都需要精心設(shè)計(jì)，且各模塊間的誤差可能疊加，導(dǎo)致整體性能不理想。

而端到端學(xué)習(xí)方法就是讓一個(gè)單一模型完成這些任務(wù)，理論上可以減少“信息丟失”和人為設(shè)計(jì)的偏差。

另外，端到端模型在有大規(guī)模數(shù)據(jù)和算力支持時(shí)，有可能學(xué)到傳統(tǒng)方法難以覆蓋的細(xì)微信號(hào)或者環(huán)境特征，從而做出更連貫的決策。在某些封閉測(cè)試環(huán)境或者特定場(chǎng)景下，它甚至能表現(xiàn)得與人類(lèi)駕駛員一樣直觀、流暢。

如何減輕黑盒現(xiàn)象，提高可解釋性

自動(dòng)駕駛行業(yè)使用端到端的趨勢(shì)越來(lái)越明顯，且越來(lái)越普遍，那有沒(méi)有什么方法可以緩解黑盒效應(yīng)，從而提高自動(dòng)駕駛系統(tǒng)的可解釋性和安全性？

有一種方法是在訓(xùn)練時(shí)引入中間監(jiān)督信號(hào)，而不是只在最后輸出處進(jìn)行判斷。這種做法可以在模型內(nèi)部形成一些可解釋的“中間狀態(tài)”，像是識(shí)別特定物體、理解場(chǎng)景布局等，然后再把這些信息整合用于決策。

這樣一來(lái)，當(dāng)系統(tǒng)做出某個(gè)復(fù)雜決策時(shí)，就可以看下它是基于哪些中間判斷做出的，而不是完全不可解釋的黑箱。這種在訓(xùn)練過(guò)程中重構(gòu)中間特征的方法可以讓模型內(nèi)部機(jī)制更透明。

另一個(gè)方向是設(shè)計(jì)更可解釋的損失函數(shù)或者網(wǎng)絡(luò)結(jié)構(gòu)，讓模型輸出不僅包含控制指令，還能輸出一些人類(lèi)可理解的解釋信息。譬如，可以產(chǎn)生局部特征圖，讓其說(shuō)明某些輸入?yún)^(qū)域?qū)ψ罱K控制決策的貢獻(xiàn)，從而幫助理解模型為什么會(huì)這樣判斷。

還有一種策略是結(jié)合模塊化結(jié)構(gòu)和端到端學(xué)習(xí)。簡(jiǎn)單來(lái)說(shuō)，并不是把自動(dòng)駕駛過(guò)程完全交給帶有黑箱效應(yīng)的端到端模型，而是在多個(gè)步驟中保留一些“白盒”的模塊化結(jié)構(gòu)，可先用可解釋的感知模塊提取環(huán)境信息，再把提取到的高層語(yǔ)義信息輸入到端到端模型進(jìn)行行為學(xué)習(xí)。這樣不僅能保留深度學(xué)習(xí)的優(yōu)勢(shì)，又能避免完全黑箱化。

多段式端到端示意圖，圖片源自：網(wǎng)絡(luò)

此外，模型不確定性量化和可視化技術(shù)也是常見(jiàn)手段。通過(guò)這些手段，模型不僅輸出控制命令，還能給出置信度、風(fēng)險(xiǎn)評(píng)估或者潛在異議提示。這種方法在實(shí)際部署時(shí)尤為重要，因?yàn)樗梢宰屜到y(tǒng)在對(duì)某一決策不夠確定時(shí)預(yù)報(bào)警告或者采取更保守策略，從而降低潛在風(fēng)險(xiǎn)。

最后的話(huà)

端到端自動(dòng)駕駛的黑盒問(wèn)題作為深度學(xué)習(xí)以數(shù)據(jù)驅(qū)動(dòng)替代人工規(guī)則后帶來(lái)的必然結(jié)果。它確實(shí)讓系統(tǒng)具備了更強(qiáng)的整體擬合能力和更接近人類(lèi)直覺(jué)的駕駛表現(xiàn)，但同時(shí)也削弱了人類(lèi)對(duì)決策過(guò)程的直接掌控。對(duì)于我們來(lái)說(shuō)，并不是要徹底消除黑盒，而是要讓黑盒處在可約束、可審計(jì)、可回退的體系之中。

通過(guò)在關(guān)鍵位置保留可解釋的中間表達(dá)、引入不確定性評(píng)估和安全兜底機(jī)制，端到端模型才能從“不可理解的聰明”轉(zhuǎn)變?yōu)椤爸档眯湃蔚闹悄堋保@也是它能否走向真實(shí)道路和規(guī)?；瘧?yīng)用的關(guān)鍵分水嶺。