特斯拉向美國(guó)用戶推送了版本號(hào)為V12.1.2 Beta的端到端FSD，引發(fā)了廣泛關(guān)注。如何去理解智能駕駛端到端的系統(tǒng)，我們來(lái)講一講。

傳統(tǒng)智能駕駛系統(tǒng)采用分模塊方案，分為感知、規(guī)劃和控制模塊，通過(guò)清晰的接口和界面交互。特斯拉的端到端大模型形成一個(gè)整合的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，將感知、規(guī)控模塊合二為一。

端到端方案則完全基于全棧神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，直接輸入傳感器數(shù)據(jù)，輸出轉(zhuǎn)向、制動(dòng)和加速信號(hào)。

01 ? ? 特斯拉智能駕駛系統(tǒng)的演進(jìn)歷程 ? ?

從2021年開(kāi)始一直到預(yù)期的2023/2024年，主要要點(diǎn)包括：

●?2021年：引入HydraNet

特斯拉起初使用Mobileye系統(tǒng)，但很快就轉(zhuǎn)向定制系統(tǒng)，包括HydraNet多任務(wù)學(xué)習(xí)算法。HydraNet采用單個(gè)神經(jīng)網(wǎng)絡(luò)執(zhí)行多個(gè)任務(wù)，如感知（檢測(cè)物體和環(huán)境）和規(guī)劃與控制（規(guī)劃路徑和駕駛）特斯拉在算法層面不斷改進(jìn)，從傳統(tǒng)A算法、帶導(dǎo)航路線的A算法到Monte-Carlo樹(shù)搜索算法，用于規(guī)劃系統(tǒng)。

●?2022年：引入Occupancy Networks：引入了Occupancy Network算法，對(duì)感知模塊進(jìn)行了改進(jìn)，實(shí)現(xiàn)更好的3D理解。HydraNet的擴(kuò)展包括車道線檢測(cè)的新“頭”，規(guī)劃器還進(jìn)行了優(yōu)化，整合了Occupancy Networks的輸出。

●?2023/2024年：過(guò)渡到端到端學(xué)習(xí)：特斯拉計(jì)劃從當(dāng)前架構(gòu)過(guò)渡到端到端深度學(xué)習(xí)系統(tǒng)，過(guò)渡的關(guān)鍵是將規(guī)劃器改造為完全使用深度學(xué)習(xí)，并使用聯(lián)合損失函數(shù)進(jìn)行訓(xùn)練。過(guò)渡后的系統(tǒng)將采用端到端學(xué)習(xí)，消除手動(dòng)規(guī)則和代碼，并允許模型在未知場(chǎng)景中更好地泛化。

端到端大模型是對(duì)海量駕駛視頻片段的壓縮，類比于大語(yǔ)言模型的生成式GPT，將互聯(lián)網(wǎng)級(jí)別的數(shù)據(jù)壓縮到了端到端神經(jīng)網(wǎng)絡(luò)的參數(shù)里，實(shí)現(xiàn)了駕駛知識(shí)的高效儲(chǔ)存和應(yīng)用全棧神經(jīng)網(wǎng)絡(luò)化的FSD是軟件2.0時(shí)代的產(chǎn)物，完全基于數(shù)據(jù)驅(qū)動(dòng)。訓(xùn)練數(shù)據(jù)的質(zhì)量和規(guī)模成為決定端到端神經(jīng)網(wǎng)絡(luò)性能表現(xiàn)的關(guān)鍵因素。

02 ? ? 端到端學(xué)習(xí)的挑戰(zhàn)和優(yōu)勢(shì) ? ?

端到端學(xué)習(xí)的挑戰(zhàn)包括模型變得更加不可解釋，但作者強(qiáng)調(diào)可以仍然可以可視化各個(gè)組件的輸出。通過(guò)從駕駛員的1000萬(wàn)段視頻中“模仿”駕駛員來(lái)進(jìn)行自我計(jì)算，以提高系統(tǒng)的泛化能力。

●?優(yōu)點(diǎn)

◎?具備更高的技術(shù)上界：端到端結(jié)構(gòu)方便進(jìn)行聯(lián)合優(yōu)化，尋求整體最優(yōu)解。

◎?數(shù)據(jù)驅(qū)動(dòng)解決復(fù)雜長(zhǎng)尾問(wèn)題：可通過(guò)大量數(shù)據(jù)驅(qū)動(dòng)覆蓋更多corner case，提高系統(tǒng)適應(yīng)性。

◎?消除嚴(yán)重的模塊累計(jì)誤差：全棧神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可傳遞全量信息，消除模塊之間的累計(jì)誤差。

●?缺點(diǎn)

◎?缺乏可解釋性：端到端模型的工作機(jī)制難以解釋，影響對(duì)系統(tǒng)的理解。

◎?需要海量的高質(zhì)量數(shù)據(jù)：訓(xùn)練算力、數(shù)據(jù)、AI人才、資金都需要較高的門(mén)檻，數(shù)據(jù)質(zhì)量對(duì)模型性能有著決定性影響。

特斯拉在端到端FSD的訓(xùn)練上付出了巨大的投入，特斯拉花費(fèi)了大約一個(gè)季度的時(shí)間完成了1000萬(wàn)個(gè)視頻片段的訓(xùn)練，訓(xùn)練視頻片段的質(zhì)量和數(shù)量成為了系統(tǒng)性能的決定性因素，計(jì)劃在2025年底將訓(xùn)練算力推高到100E，相比其他廠商，其訓(xùn)練算力仍高出一個(gè)數(shù)量級(jí)。

小結(jié) ? ? ?

特斯拉的端到端方案引起了廣泛關(guān)注，但其可解釋性和對(duì)海量高質(zhì)量數(shù)據(jù)的需求成為業(yè)界關(guān)注的焦點(diǎn)。優(yōu)勢(shì)在于整體性能和適應(yīng)性的提升，缺點(diǎn)則在于技術(shù)的可理解性和高門(mén)檻的數(shù)據(jù)需求。這條路線是確定的，就是跟隨起來(lái)很費(fèi)勁！

審核編輯：黃飛

?