[首發(fā)于智駕最前沿微信公眾號]在談及自動駕駛時，Transformer一直是非常關(guān)鍵的技術(shù)，為何Transformer在自動駕駛行業(yè)一直被提及？先說結(jié)論，Transformer之所以在自動駕駛領(lǐng)域被頻繁提到，并被廣泛推崇，主要是因為這種架構(gòu)在處理多源、高維、長時序的數(shù)據(jù)時，天然具備很多有利屬性，它能高效建模遠(yuǎn)距離依賴、方便做多模態(tài)融合、易于并行訓(xùn)練、便于做大規(guī)模預(yù)訓(xùn)練與遷移學(xué)習(xí)，并且能夠用比較統(tǒng)一的架構(gòu)去承擔(dān)感知、跟蹤、預(yù)測乃至一部分決策相關(guān)的任務(wù)。今天就和大家詳細(xì)聊一聊Transformer。

Transformer到底是個啥？

在聊天今天的話題前，一定要先知道什么是Transformer。想象你坐在咖啡館里，觀察窗外的路口交通。你看見一輛車轉(zhuǎn)向、一個行人停下、一個信號燈從綠變黃。要判斷下一秒誰會先動，你并不能只看最近一幀畫面，而是把過去幾秒的動作、不同交通主體之間的相對位置、交通燈狀態(tài)、路面線型一起綜合判斷。Transformer的核心思想，就是給模型一種“任意兩個輸入元素都能直接交流”的能力，Transformer不像傳統(tǒng)模型那樣按時間順序一個一個地“傳遞”信息。這種“直接交流”通過一個叫做自注意力（self-attention）的機(jī)制實現(xiàn)。自注意力會為輸入序列中每個元素進(jìn)行計算，其會思考應(yīng)該更多關(guān)注序列中的哪些其他元素，然后把這些重要的信息“拉過來”整合成對當(dāng)前元素有用的表示。用更直白的比喻，自注意力像是在一個討論會上，任何人都能立刻聽到任何人的發(fā)言并據(jù)此調(diào)整自己的觀點，而不是通過一排排人依次傳話。

Transformer在自動駕駛中的直觀體現(xiàn)就是每個輸入（比如一幀圖像里的一個像素塊、一段雷達(dá)回波、或一幀時間戳的特征）會被映射成三類向量，即查詢（query）、鍵（key）和值（value）。查詢用來詢問“我想知道什么”，鍵代表“我這里有什么線索”，值是“實際要傳的內(nèi)容”。自注意力的核心是把查詢和所有鍵做相似度匹配，得到的權(quán)重再去加權(quán)相應(yīng)的值，得到融合后再進(jìn)行表示。這樣，相似或相關(guān)的信息會互相增強，不相關(guān)的信息權(quán)重會被壓低。為了解決輸入中沒有明確順序這個問題（比如文本的詞序很重要，但自注意力本身是無序的），Transformer引入了位置編碼（positionalencoding），把位置信息注入每個元素的表示中，從而保留時間或空間順序的線索。

原始Transformer由encoder和decoder兩部分組成，encoder用于把輸入編碼成一組高維表示，decoder則在有條件生成任務(wù)中逐步生成輸出（比如機(jī)器翻譯時逐詞生成目標(biāo)句子）。但在視覺任務(wù)或者感知任務(wù)里，很多工作簡化為只用encoder來做特征提取，或者把encoder的思想擴(kuò)展成適配圖片、點云、視頻等輸入的不同變體。與RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）相比，Transformer的一個顯著工程優(yōu)勢是并行化，RNN要按時間步遞歸處理，訓(xùn)練時無法充分并行；Transformer的自注意力可以在時間維度或空間維度上并行計算，使得訓(xùn)練速度在大規(guī)模數(shù)據(jù)集上具有很大優(yōu)勢。

Transformer在自動駕駛中的優(yōu)勢

在感知層面，自動駕駛要解決的是“這里都有什么、在哪兒、可能怎樣移動”。傳統(tǒng)視覺檢測或雷達(dá)處理通?；诰矸e神經(jīng)網(wǎng)絡(luò)（CNN）做局部特征提取，再結(jié)合專門的后處理和啟發(fā)式跟蹤器。Transformer最大的優(yōu)勢之一是它的全局感受野，在同一層級上，任意兩個位置都能建立直接聯(lián)系。這對識別遮擋物體、處理長距離關(guān)聯(lián)（比如遠(yuǎn)處車輛的微小運動暗示要并線）尤其有用。舉個例子，當(dāng)攝像頭視角里有近處的樹枝局部遮擋了遠(yuǎn)處行人的一部分，卷積架構(gòu)可能需要很多層才能把遠(yuǎn)處完整的語義信息傳播過來，而自注意力能直接把遠(yuǎn)處行人的完整特征“召回”來補足局部缺失，從而提高檢測的魯棒性。

在多傳感器融合時，自動駕駛系統(tǒng)通常需要把攝像頭、激光雷達(dá)（LiDAR）、毫米波雷達(dá)、慣導(dǎo)信息等合并在一起。傳統(tǒng)方法往往先把每個傳感器做獨立的特征提取，再用規(guī)則或淺層網(wǎng)絡(luò)融合。Transformer提供了一種更自然的融合方式，把各傳感器的特征統(tǒng)一看作一組“token”，讓自注意力機(jī)制學(xué)習(xí)不同模態(tài)之間的相互關(guān)系。它可以自動決定什么時候把視覺信息作為主導(dǎo)、什么時候把雷達(dá)的距離精確性作為主導(dǎo)，而不必人為設(shè)定哪個模態(tài)權(quán)重更高。這在復(fù)雜天氣或光照變化時尤其重要，比如霧天攝像頭信息退化，但雷達(dá)和LiDAR仍保留可靠線索，Transformer能在訓(xùn)練中學(xué)到如何在這些條件下動態(tài)調(diào)整注意力分配。

時間序列和預(yù)測是自動駕駛的另一個核心任務(wù)，自動駕駛汽車不僅要看當(dāng)前的世界，還要預(yù)測幾秒內(nèi)周圍交通主體的軌跡以便做決策。RNN可以處理時間序列，但其長時依賴建模能力有限且訓(xùn)練不易并行；傳統(tǒng)滑窗特征+卷積的方式也會忽略遠(yuǎn)端時刻對當(dāng)前決策的影響。Transformer的自注意力天然擅長建模長距離依賴，它能把幾秒鐘甚至幾十幀的數(shù)據(jù)放在一起，讓模型從整個歷史中挑出對當(dāng)前預(yù)測最有用的信息。比如一輛車在過去幾秒里已經(jīng)在做微小偏移，這種趨勢信息可能對預(yù)測它未來的并線非常關(guān)鍵，Transformer可以直接把這些早期的微小信號與最近幀結(jié)合起來，得出更可靠的預(yù)測結(jié)果。

端到端與簡化流水線也是Transformer受歡迎的一個原因。傳統(tǒng)自動駕駛感知往往是“分而治之”，先檢測、再跟蹤、再分割、再預(yù)測、再規(guī)劃，每一步都有獨立模塊和復(fù)雜的中間表示。Transformer提供了把多個任務(wù)統(tǒng)一到一個網(wǎng)絡(luò)或一個通用骨干上的可能。自注意力可以在同一張表示上同時輸出檢測框、跟蹤ID、語義分割和預(yù)測向量，這樣的統(tǒng)一性在減少工程接口、降低錯誤累積與便于端到端優(yōu)化上有明顯優(yōu)勢。當(dāng)然，這并不意味著所有場景都能完全丟掉模塊化，但統(tǒng)一架構(gòu)確實提供了更干凈的優(yōu)化目標(biāo)和更少的手工規(guī)則。

Transformer還有一個優(yōu)勢就是可擴(kuò)展性與預(yù)訓(xùn)練生態(tài)。Transformer在NLP領(lǐng)域已經(jīng)證明，大模型加大數(shù)據(jù)、再加上預(yù)訓(xùn)練-微調(diào)的套路，能把通用表示變成下游任務(wù)上的非常有用的起點。把類似思路移植到視覺和多模態(tài)上，自動駕駛領(lǐng)域可以利用大規(guī)模的模擬數(shù)據(jù)、未標(biāo)注的視頻、合成點云等做自監(jiān)督預(yù)訓(xùn)練，然后把預(yù)訓(xùn)練得到的網(wǎng)絡(luò)在標(biāo)注數(shù)據(jù)上微調(diào)，往往能極大提升樣本效率和魯棒性。對于實際廠商來說，這意味著能把大量“無標(biāo)簽”或“弱標(biāo)簽”數(shù)據(jù)變成有價值的信息，減少昂貴人工標(biāo)注的依賴。

Transformer的并行化特性讓訓(xùn)練速度和硬件利用率在現(xiàn)代加速器（GPU/TPU）上表現(xiàn)更好。RNN那種需要按時間順序處理的設(shè)計在大數(shù)據(jù)訓(xùn)練時效率受限，而Transformer在時間或空間維度上可并行計算，自然能更好地縮短訓(xùn)練周期，尤其在做大規(guī)模預(yù)訓(xùn)練時，這個優(yōu)勢非常明顯。再者，Transformer的模塊化（attention層+前饋層）也比較容易做模型并行和流水線切分，便于擴(kuò)展到數(shù)億、數(shù)十億參數(shù)的模型。

除了這些“能力層面”的優(yōu)點，Transformer在模型可解釋性上也帶來一些機(jī)會。雖然attention并不是完美的解釋工具，但注意力權(quán)重常被用來觀察模型關(guān)注的區(qū)域，這在調(diào)試感知失敗或理解模型在特定場景下為何犯錯時很有幫助。比如模型誤判一個靜止物體為行人時，通過看attention可以發(fā)現(xiàn)模型更關(guān)注了某個背景區(qū)域或反光點，從而為后續(xù)修正提供線索。

在配合自動駕駛汽車感知環(huán)境時，Transformer最顯著的工程價值體現(xiàn)在那些需要全局信息、跨模態(tài)關(guān)聯(lián)或長時依賴的任務(wù)上。比如多目標(biāo)跟蹤與聯(lián)合檢測跟蹤，把檢測與跟蹤放在同一個注意力機(jī)制下能顯著減少錯誤聯(lián)動；軌跡預(yù)測問題中把歷史軌跡、地圖語義、鄰車交互都作為token一起建模，能更自然地捕捉交互規(guī)律；BEV（鳥瞰視角）感知中，Transformer有助于把多攝像頭、稀疏LiDAR投影在同一BEV空間時進(jìn)行統(tǒng)一建模，從而得到一致性的場景理解。簡而言之，當(dāng)問題需要把分散信息匯聚成一個統(tǒng)一視圖并推理相互關(guān)系時，Transformer通常會是一個強有力的選擇。

Transformer存在哪些不足？

一直在說Transformer的優(yōu)勢，那它是否有什么不足？標(biāo)準(zhǔn)的自注意力計算復(fù)雜度隨token數(shù)量平方增長，這對于高分辨率圖像或細(xì)粒度點云來說會很快成為瓶頸?，F(xiàn)階段常見的解決辦法有兩類，一是進(jìn)行token數(shù)量的約簡，比如把圖片先下采樣、用卷積提取局部特征后再做全局attention，或者用稀疏／局部注意力機(jī)制只在相鄰區(qū)域計算；二是采用分層結(jié)構(gòu)，把注意力限定在局部再跨層傳遞全局信息（類似視覺Transformer的分層變體）。這些折中能在維持Transformer優(yōu)點的同時控制計算量，但設(shè)計和調(diào)參成本會增加。

Transformer還需要大量數(shù)據(jù)和算力來發(fā)揮最大效益。自動駕駛的標(biāo)注數(shù)據(jù)成本很高，且真實駕駛場景的長尾問題嚴(yán)重，依賴純監(jiān)督學(xué)習(xí)往往容易過擬合主流場景。為此在實踐中會結(jié)合自監(jiān)督學(xué)習(xí)、合成數(shù)據(jù)、強化學(xué)習(xí)的模擬器數(shù)據(jù)等方法來緩解數(shù)據(jù)稀缺問題。預(yù)訓(xùn)練-微調(diào)的策略在這里尤為重要，但如何把通用預(yù)訓(xùn)練和車輛上實時運行的輕量化模型對接，是一道難題。

部署時的延遲和能耗更是很現(xiàn)實的一個問題。車輛端對實時性和功耗有硬性要求，尤其在低成本量產(chǎn)車上，不能隨便把數(shù)億參數(shù)的Transformer裝上車。常見的做法是把大模型放在云端或邊緣服務(wù)器做感知/預(yù)測，再把結(jié)果壓縮傳回車端，或者把模型蒸餾成輕量化版本放到車上。每種選擇都有權(quán)衡，云端方案有通信延遲與覆蓋限制，端側(cè)量化/蒸餾會損失部分精度。

雖然attention提供了某種“可視化”的線索，但它不等于嚴(yán)格可解釋性或安全性保證。在自動駕駛這種安全關(guān)鍵場景里，僅僅依靠attention的直觀解釋不足以滿足驗證與認(rèn)證的要求。工程上需要額外的驗證、魯棒性測試、形式化方法或冗余系統(tǒng)來保證安全。

自動駕駛行業(yè)在把Transformer引入工程時做了很多適配工作，比如把圖像/點云/雷達(dá)數(shù)據(jù)做成token的方式有很多變體；有的做法先用CNN提取局部特征再把patch-leveltoken輸入Transformer，有的直接把點云切成小塊token；時間序列通常會把不同時間戳的token拼在一起做時序注意力，或者在空間注意力的基礎(chǔ)上疊加時間注意力；為了控制復(fù)雜度，也會采用稀疏注意力、分組注意力、滑動窗口注意力等策略。所有這些都突出一個事實，Transformer是一種非常靈活的“工具箱”，但具體好不好用、怎么用得好，仍然需要工程化的設(shè)計與大量實驗來調(diào)優(yōu)。

如何讓Transformer實際應(yīng)用于自動駕駛？

在將Transformer應(yīng)用于自動駕駛時，我們一定要明確幾點。第一，不要期望把Transformer當(dāng)作“萬能膠”直接替代全部模塊。把Transformer合理地和卷積、圖網(wǎng)絡(luò)、物理先驗結(jié)合往往能取得更好的效果。第二，關(guān)注計算預(yù)算與延遲，在訓(xùn)練階段可以大膽用大模型，但在部署階段要計劃好蒸餾、量化、剪枝或模型分層部署。第三，充分利用自監(jiān)督與模擬數(shù)據(jù)，預(yù)訓(xùn)練在樣本稀缺時的收益非常明顯，尤其是當(dāng)你能收集到大量未標(biāo)注的行車視頻和傳感器流時。第四，重視魯棒性測試，在惡劣天氣、極端光照或傳感器故障情況下做魯棒性驗證，不要只看在整潔數(shù)據(jù)集上的平均指標(biāo)。第五，結(jié)合可解釋性工具與冗余設(shè)計以滿足安全要求，attention可作為調(diào)試起點，但要有更嚴(yán)謹(jǐn)?shù)尿炞C流程保障功能安全。