在剛過去的8月，馬斯克在推特上公布了關(guān)于 Autopilot 以及 FSD 的兩條重要消息：

AP 團(tuán)隊(duì)正對(duì)軟件的底層代碼進(jìn)行重寫和深度神經(jīng)網(wǎng)絡(luò)重構(gòu)；全新的訓(xùn)練計(jì)算機(jī) Dojo 正在開發(fā)中。

重寫 AP，是今年馬斯克在推特上不斷提及的一項(xiàng)重要行動(dòng)。在回應(yīng)推友提問時(shí)，馬斯克會(huì)時(shí)不時(shí)披露 AP 將有的新功能，比如：

對(duì)路面上的隆起和坑洞（bumps&patholes）的識(shí)別；

對(duì)環(huán)島路況（roundabouts）的處理等等。

特斯拉對(duì) AP 的全面重寫，包括了對(duì)數(shù)據(jù)標(biāo)注、訓(xùn)練、推理全流程的重構(gòu)。

而基于新架構(gòu)的 FSD 將不再是漸進(jìn)式的優(yōu)化，而是一次「量子式躍升」（馬斯克原文是 quantum leap）。馬斯克在7月的世界人工智能大會(huì)上表示「有信心在今年完成開發(fā)L5級(jí)自動(dòng)駕駛的基本功能」，馬斯克能夠?qū)崿F(xiàn)他的承諾嗎？

特斯拉為什么要在這個(gè)階段對(duì) AP 軟件進(jìn)行重寫？重寫 AP 到底要重寫些什么呢？作為當(dāng)下市面上量產(chǎn)最強(qiáng)的自動(dòng)駕駛系統(tǒng)，AP 走向何方，F(xiàn)SD 何時(shí)到來？

特斯拉 AP 兩大新進(jìn)展

身兼特斯拉 AP 團(tuán)隊(duì)的最高負(fù)責(zé)人，馬斯克經(jīng)常充當(dāng)著軟件測(cè)試員的角色。根據(jù)馬斯克在推特上透露，他本人經(jīng)常開著搭載 FSD 最新測(cè)試版本的特斯拉上下班，馬斯克稱在他使用系統(tǒng)的過程中，幾乎不需要人工接管。

基于此，他樂觀估計(jì)，最快在6-10周后（也就是10月-11月份），就可以向小規(guī)模地向用戶推送 FSD 測(cè)試版本。

作為重寫 AP 的一部分，馬斯克還向外界介紹了其全新的用于神經(jīng)網(wǎng)絡(luò)（NN）訓(xùn)練的超級(jí)計(jì)算機(jī) Dojo。 Dojo 在日語中意為「道場(chǎng)」，現(xiàn)在它成為了特斯拉訓(xùn)練數(shù)據(jù)的「道場(chǎng)」。

Dojo 將專門用于大規(guī)模的圖像和視頻數(shù)據(jù)處理，其浮點(diǎn)運(yùn)算能力達(dá)到了 exaflop 級(jí)別，也就是每秒運(yùn)算百億億次。正因此，馬斯克稱 Dojo 如野獸一般。

需要注意的是，Dojo 計(jì)算機(jī)將配合無監(jiān)督學(xué)習(xí)算法（unsupervised learning），來減少特斯拉對(duì)于數(shù)據(jù)人工標(biāo)注的工作量，這樣來幫助其數(shù)據(jù)訓(xùn)練效率實(shí)現(xiàn)指數(shù)級(jí)提升。 馬斯克還在推特上發(fā)布英雄帖，為自家的 AI 和芯片團(tuán)隊(duì)招人。

目前，Dojo 計(jì)算機(jī)仍在開發(fā)中，從 V1.0 開始，大約一年后才會(huì)有成果。

有了全新的 AP 軟件架構(gòu)以及強(qiáng)大的數(shù)據(jù)訓(xùn)練計(jì)算機(jī) Dojo，難怪馬斯克會(huì)對(duì)其 FSD 的落地進(jìn)展如此自信。 但話說回來，特斯拉為什么要在這個(gè)階段對(duì) AP 軟件進(jìn)行重寫？還是以這樣一種推倒重來的方式。

為什么特斯拉要重寫 AP？

現(xiàn)在的 AP 已經(jīng)碰到了性能瓶頸，必須要進(jìn)行升維革命，否則難有大的突破。

馬斯克用了一個(gè)術(shù)語來表述這個(gè)問題，他認(rèn)為過去 AP 被困在一個(gè)局部最大值（Local Maximum）里面，要向上突破已經(jīng)非常困難了。

其中一個(gè)很關(guān)鍵的問題在于，原有 AP 軟件架構(gòu)下，其處理的數(shù)據(jù)都是不含有時(shí)間坐標(biāo)的 2D 圖像數(shù)據(jù)。 再想往上去處理 3D 甚至 4D（加上時(shí)間維度） 的數(shù)據(jù)，實(shí)現(xiàn)從圖像級(jí)處理到視頻級(jí)處理的躍遷， AP 固有的軟件和訓(xùn)練網(wǎng)絡(luò)難以勝任。

關(guān)于引入 4D 數(shù)據(jù)帶來的影響，一位來自國(guó)內(nèi)自動(dòng)駕駛公司的工程師向汽車之心分析：

因?yàn)橛辛藭r(shí)間維度，系統(tǒng)就能知道目標(biāo)物的運(yùn)動(dòng)，對(duì)其行為進(jìn)行預(yù)測(cè)，而且，系統(tǒng)處理目標(biāo)物識(shí)別、分類以及場(chǎng)景的重構(gòu)這類任務(wù)會(huì)更加輕松。

總之，加入時(shí)間維度，很大程度上是提高系統(tǒng)對(duì)整體場(chǎng)景的理解。 AP 要再往前走，必須進(jìn)行革命，所以特斯拉這才決定重寫 AP。

另一方面，因?yàn)閿?shù)據(jù)轉(zhuǎn)變成 4D，信息量更豐富，整個(gè)數(shù)據(jù)的容量也會(huì)變大，這也給特斯拉 AP 現(xiàn)有的用于深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的基礎(chǔ)設(shè)施帶來了挑戰(zhàn)，所以就有了 Dojo。 所以， AP 為了實(shí)現(xiàn)性能和功能上更大的突破，倒逼其對(duì) AP 基礎(chǔ)代碼以及訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)設(shè)施進(jìn)行重構(gòu)。

這樣工作量龐大的復(fù)雜工程也成為 FSD 遲遲推出不了落地版本的重要原因。

除了在車載軟件和訓(xùn)練服務(wù)器端變革，特斯拉在車載硬件端也做好了準(zhǔn)備，就是其自研的 FSD 芯片。

FSD 已經(jīng)在去年4月份開始量產(chǎn)并搭載在特斯拉的車端。一位對(duì)熟悉特斯拉的業(yè)內(nèi)人士表示：

在 FSD 發(fā)布后的一段時(shí)間里，特斯拉 AP 團(tuán)隊(duì)仍是基于 HW 2.x 的硬件（英偉達(dá) Drive PX 平臺(tái)）進(jìn)行功能開發(fā)，直到今年年初，特斯拉才開始全面轉(zhuǎn)向基于 FSD 芯片的軟件開發(fā)。

相較于英偉達(dá) Drive PX 平臺(tái)，特斯拉 FSD 芯片在基礎(chǔ)算力和深度神經(jīng)網(wǎng)絡(luò)推理效率方面都有革命性提升，而且在視覺處理性能上，F(xiàn)SD 相較于英偉達(dá)的芯片有更大的優(yōu)勢(shì)。

所以趁著這一次特斯拉重寫 AP，整個(gè)系統(tǒng)需要處理的數(shù)據(jù)升維到了 4D，對(duì)計(jì)算硬件的要求指數(shù)級(jí)提高，F(xiàn)SD 的強(qiáng)大性能便終于有了廣闊的用武之地。

引入 FSD 芯片的 AP 在性能上會(huì)有多大提升？ 馬斯克此前在接受 Youtube 視頻博主采訪時(shí)透露過：

如果特斯拉全車的 8 顆攝像頭以36幀/秒的速度運(yùn)行（性能拉滿），軟件則會(huì)基于 FSD 芯片的算力同步進(jìn)行 3D 標(biāo)注（2D 圖像+深度信息），這會(huì)使標(biāo)注效率提升3倍，準(zhǔn)確性也會(huì)大幅提升。

特斯拉重寫 AP，除了馬斯克口中所說的要突破「Local Maximun」以及挖掘 FSD 芯片的極限性能這兩方面的原因之外，還有一種可能性存在。硅谷一位資深自動(dòng)駕駛工程師告訴汽車之心：

特斯拉現(xiàn)有的 AP 系統(tǒng)和后續(xù)要推出的 FSD 是兩套獨(dú)立開發(fā)的系統(tǒng)。

前者的架構(gòu)是針對(duì)于 L2/L3 級(jí)自動(dòng)駕駛，而 FSD 的目標(biāo)從一開始就是 L4/L5 級(jí)自動(dòng)駕駛。因此，兩套系統(tǒng)在架構(gòu)上有本質(zhì)的差異，兩者差著一個(gè)代際。

后續(xù)，隨著技術(shù)不斷進(jìn)步，F(xiàn)SD 也走向成熟，特斯拉決心把 FSD 和 AP 的框架進(jìn)行整合。 但問題是，兩個(gè)系統(tǒng)中有些模塊可以融合，但是有些模塊是融合不了的，畢竟一個(gè)為 L2 開發(fā)的系統(tǒng)很難直接演變成 L4 系統(tǒng)。 所以特斯拉 AP 團(tuán)隊(duì)要改寫 AP 軟件的框架和代碼，以實(shí)現(xiàn)兩個(gè)系統(tǒng)間的完美兼容，這樣的話，后續(xù)才能以統(tǒng)一的版本推送給購買了全自動(dòng)駕駛選裝包的特斯拉車主。

實(shí)際上，我們也能從 AP 這些年的功能更新中發(fā)現(xiàn)一些蛛絲馬跡：

2017年3月，推送自動(dòng)泊車和自動(dòng)輔助變道功能；

2018年10月，推送自動(dòng)輔助導(dǎo)航駕駛（NoA）功能；

2019年9月，推送智能召喚（Smart Summon）；

2020年4月，推送識(shí)別交通信號(hào)燈和停車標(biāo)志并作出反應(yīng)（海外先行）。

AP 還在最新的迭代過程中更新了一些令人驚喜的小功能：

比如在城市工況施工區(qū)域，沒有車道線的情況下，車身兩側(cè)皆為錐形桶，AP 能做到以錐形桶為依據(jù)實(shí)時(shí)繪制車道線。 AP 系統(tǒng)還能檢測(cè)到小動(dòng)物并及時(shí)進(jìn)行避讓，不過特斯拉是把小動(dòng)物一律識(shí)別成人后才做出相應(yīng)的操作。

基本上，在特斯拉官網(wǎng)上標(biāo)明的 FSD 完全自動(dòng)駕駛功能，還剩下一項(xiàng)最難的、也最能代表 L4 級(jí)自動(dòng)駕駛能力的更新：在城市街道中進(jìn)行自動(dòng)輔助駕駛。為了實(shí)現(xiàn)這一難度最大的更新，特斯拉給出的最優(yōu)解就是重寫 AP。

基于以上分析，特斯拉重寫 AP 的原因便包括突破「Local Maximun」、挖掘 FSD 芯片的極限性能以及將系統(tǒng)能力從 L2 進(jìn)化至 L4。

特斯拉重寫 AP，是重寫什么？

先來看看特斯拉 AP 現(xiàn)在最新的 AI 軟件堆棧是怎么樣的：

最底層的是數(shù)據(jù)、GPU 集群以及 Dojo 計(jì)算集群，這一層主要進(jìn)行數(shù)據(jù)采集、標(biāo)注和訓(xùn)練，生成算法模型；

往上走就是采用深度神經(jīng)網(wǎng)絡(luò)對(duì)模型進(jìn)行分布式訓(xùn)練；再往上走就是用損失函數(shù)對(duì)模型進(jìn)行評(píng)估；

在評(píng)估層之上，是云端推理層和車端 FSD 芯片推理層，到這一層，意味著算法模型走完了大部分流程，然后就是部署到車端；

在車端，特斯拉通過影子模式（Shadow Mode）將這些算法模型與人類駕駛行為進(jìn)行比對(duì)，檢測(cè)是否存在異常。

這樣的從數(shù)據(jù)采集到算法部署的閉環(huán)，目的就是讓系統(tǒng)性能不斷迭代，更加優(yōu)秀。

在這個(gè)閉環(huán)當(dāng)中，涉及到數(shù)據(jù)集、模型訓(xùn)練神經(jīng)網(wǎng)絡(luò)、云端和車端推理算法等等要素。

所以，當(dāng)數(shù)據(jù)形式從二維的圖像數(shù)據(jù)（2D）轉(zhuǎn)換成四維的視頻級(jí)數(shù)據(jù)（4D）后，相應(yīng)的神經(jīng)網(wǎng)絡(luò)和推理算法都需要進(jìn)行重寫。

據(jù)馬斯克透露，特斯拉 AP 新版本的深度神經(jīng)網(wǎng)絡(luò)會(huì)將包括感知、路徑規(guī)劃、目標(biāo)識(shí)別等所有子神經(jīng)網(wǎng)絡(luò)綜合于一體。

特斯拉AI高級(jí)總監(jiān) Andrej Karpathy 在此前的一次演講中表示：

我們無法讓每一個(gè)任務(wù)都享有單獨(dú)的神經(jīng)網(wǎng)絡(luò)運(yùn)算，因?yàn)橥瑫r(shí)處理的任務(wù)數(shù)實(shí)在太多，我們只能把一些運(yùn)算分?jǐn)偟焦蚕砉歉删W(wǎng)絡(luò)上。

Andrej Karpathy 將這一骨干網(wǎng)絡(luò)稱為 HydraNets（Hydra 意為九頭蛇），意思就是有一個(gè)主干網(wǎng)絡(luò)（Backbone），在這個(gè)網(wǎng)絡(luò)上有多個(gè)不同的出口（Head）來做應(yīng)用，然后輸出各自的結(jié)果。

在特斯拉 AP 最新的 AI 軟件堆棧中，有一個(gè)最值得關(guān)注的部分就是 Dojo 訓(xùn)練集群，這個(gè)集群可以處理海量的圖像、視頻數(shù)據(jù)。

引入這一訓(xùn)練計(jì)算機(jī)，一方面是為了滿足特斯拉 AP 系統(tǒng)此后的 4D 視頻數(shù)據(jù)處理需求。

另一方面，特斯拉在全球有超過 82 萬輛搭載 HW 2.0/3.0 硬件的車輛每天在道路上行駛，可以采集海量的數(shù)據(jù)用于 AP 的訓(xùn)練，而如此海量的數(shù)據(jù)，必然需要具備強(qiáng)大計(jì)算性能計(jì)算機(jī)來進(jìn)行處理。

Dojo 還有一個(gè)特別之處在于，它可以與無監(jiān)督學(xué)習(xí)進(jìn)行配合。 所謂無監(jiān)督學(xué)習(xí)，就是無需人工對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)注，系統(tǒng)可以自行根據(jù)樣本間的統(tǒng)計(jì)規(guī)律對(duì)樣本集進(jìn)行分析，常見任務(wù)如聚類等。

例如無監(jiān)督學(xué)習(xí)在不給任何額外提示的情況下，僅依據(jù)一定數(shù)量的「狗」的圖片特征，將「狗」的圖片從大量的各種各樣的圖片中將區(qū)分出來。

有了無監(jiān)督學(xué)習(xí)技術(shù)加持的 Dojo 計(jì)算機(jī)，便能以極低的成本對(duì)數(shù)據(jù)進(jìn)行自動(dòng)標(biāo)注和訓(xùn)練，實(shí)現(xiàn)算法性能的指數(shù)級(jí)提高。

不過，用上了無監(jiān)督學(xué)習(xí)技術(shù)的特斯拉，依然有一支大約500人規(guī)模的數(shù)據(jù)標(biāo)注團(tuán)隊(duì)。

因?yàn)樵谝恍┏跏忌窠?jīng)網(wǎng)絡(luò)模型的搭建過程中，采用人工標(biāo)注的方式置信度更高。而且，特斯拉并未大規(guī)模采用無監(jiān)督學(xué)習(xí)技術(shù)，現(xiàn)在都還處在嘗鮮階段。

那么，Dojo 計(jì)算機(jī)上搭載的會(huì)是誰家的芯片呢？ 目前特斯拉自研的 FSD 芯片屬于推理芯片，用于 Dojo 計(jì)算機(jī)的芯片屬于訓(xùn)練芯片。

有業(yè)內(nèi)人士向我們分析表示，Dojo 所采用的芯片應(yīng)該是 FSD 芯片的擴(kuò)展版本。 這也是為什么馬斯克在為自家 AI 和芯片團(tuán)隊(duì)招人時(shí)，特意公布了其在研發(fā)的 Dojo 計(jì)算機(jī)的情況，大概率要招的人就是為了研發(fā)用于 Dojo 計(jì)算機(jī)的芯片。

特斯拉 FSD 走向何方

無論是大力投入資源重寫 AP 基礎(chǔ)代碼和深度神經(jīng)網(wǎng)絡(luò)，還是廣納賢才開發(fā)性能強(qiáng)大的數(shù)據(jù)訓(xùn)練計(jì)算機(jī) Dojo，都體現(xiàn)了特斯拉要先人一步搞定完全自動(dòng)駕駛的決心。

特斯拉擁有龐大規(guī)模的數(shù)據(jù)采集車隊(duì)，也聚集了 300 多位全球頂尖的自動(dòng)駕駛和深度學(xué)習(xí)方面的軟硬件研發(fā)人才，從數(shù)據(jù)到算法到商業(yè)化，特斯拉在自動(dòng)駕駛領(lǐng)域有著其他廠商無法比擬的優(yōu)勢(shì)。

在這些優(yōu)勢(shì)的加持之下，特斯拉仍然遲遲無法量產(chǎn)真正意義上的完全自動(dòng)駕駛功能，那些買了 FSD 選裝包的特斯拉用戶著急，馬斯克則更急。

所有人都在期待著重寫完成后的 AP 系統(tǒng)能真正進(jìn)化至 FSD 版本，而這一切都要等到今年年底見真章。 在重寫 AP 的同時(shí)，特斯拉也沒有停止在硬件層面的持續(xù)研發(fā)。

據(jù)媒體報(bào)道，特斯拉正與博通合作研發(fā)新款 HW 4.0 自動(dòng)駕駛芯片，其性能比 FSD 還要強(qiáng)大 3 倍，計(jì)劃明年第四季度進(jìn)行大規(guī)模量產(chǎn)，由臺(tái)積電負(fù)責(zé)生產(chǎn)。 特斯拉在 AP 層面，是一個(gè)接一個(gè)的大動(dòng)作，而這一切動(dòng)作都有一個(gè)統(tǒng)一的目標(biāo)：更優(yōu)秀的 AP、更強(qiáng)大的 FSD。

即使現(xiàn)在其表現(xiàn)還不盡如人意，但未來值得期待。
責(zé)任編輯：tzh