在剛過去的8月，馬斯克在推特上公布了關(guān)于 Autopilot 以及 FSD 的兩條重要消息：

AP 團隊正對軟件的底層代碼進行重寫和深度神經(jīng)網(wǎng)絡重構(gòu)；全新的訓練計算機 Dojo 正在開發(fā)中。

重寫 AP，是今年馬斯克在推特上不斷提及的一項重要行動。在回應推友提問時，馬斯克會時不時披露 AP 將有的新功能，比如：

對路面上的隆起和坑洞（bumps&patholes）的識別；

對環(huán)島路況（roundabouts）的處理等等。

特斯拉對 AP 的全面重寫，包括了對數(shù)據(jù)標注、訓練、推理全流程的重構(gòu)。

而基于新架構(gòu)的 FSD 將不再是漸進式的優(yōu)化，而是一次「量子式躍升」（馬斯克原文是 quantum leap）。馬斯克在7月的世界人工智能大會上表示「有信心在今年完成開發(fā)L5級自動駕駛的基本功能」，馬斯克能夠?qū)崿F(xiàn)他的承諾嗎？

特斯拉為什么要在這個階段對 AP 軟件進行重寫？重寫 AP 到底要重寫些什么呢？作為當下市面上量產(chǎn)最強的自動駕駛系統(tǒng)，AP 走向何方，F(xiàn)SD 何時到來？

特斯拉 AP 兩大新進展

身兼特斯拉 AP 團隊的最高負責人，馬斯克經(jīng)常充當著軟件測試員的角色。根據(jù)馬斯克在推特上透露，他本人經(jīng)常開著搭載 FSD 最新測試版本的特斯拉上下班，馬斯克稱在他使用系統(tǒng)的過程中，幾乎不需要人工接管。

基于此，他樂觀估計，最快在6-10周后（也就是10月-11月份），就可以向小規(guī)模地向用戶推送 FSD 測試版本。

作為重寫 AP 的一部分，馬斯克還向外界介紹了其全新的用于神經(jīng)網(wǎng)絡（NN）訓練的超級計算機 Dojo。 Dojo 在日語中意為「道場」，現(xiàn)在它成為了特斯拉訓練數(shù)據(jù)的「道場」。

Dojo 將專門用于大規(guī)模的圖像和視頻數(shù)據(jù)處理，其浮點運算能力達到了 exaflop 級別，也就是每秒運算百億億次。正因此，馬斯克稱 Dojo 如野獸一般。

需要注意的是，Dojo 計算機將配合無監(jiān)督學習算法（unsupervised learning），來減少特斯拉對于數(shù)據(jù)人工標注的工作量，這樣來幫助其數(shù)據(jù)訓練效率實現(xiàn)指數(shù)級提升。 馬斯克還在推特上發(fā)布英雄帖，為自家的 AI 和芯片團隊招人。

目前，Dojo 計算機仍在開發(fā)中，從 V1.0 開始，大約一年后才會有成果。

有了全新的 AP 軟件架構(gòu)以及強大的數(shù)據(jù)訓練計算機 Dojo，難怪馬斯克會對其 FSD 的落地進展如此自信。 但話說回來，特斯拉為什么要在這個階段對 AP 軟件進行重寫？還是以這樣一種推倒重來的方式。

為什么特斯拉要重寫 AP？

現(xiàn)在的 AP 已經(jīng)碰到了性能瓶頸，必須要進行升維革命，否則難有大的突破。

馬斯克用了一個術(shù)語來表述這個問題，他認為過去 AP 被困在一個局部最大值（Local Maximum）里面，要向上突破已經(jīng)非常困難了。

其中一個很關(guān)鍵的問題在于，原有 AP 軟件架構(gòu)下，其處理的數(shù)據(jù)都是不含有時間坐標的 2D 圖像數(shù)據(jù)。 再想往上去處理 3D 甚至 4D（加上時間維度） 的數(shù)據(jù)，實現(xiàn)從圖像級處理到視頻級處理的躍遷， AP 固有的軟件和訓練網(wǎng)絡難以勝任。

關(guān)于引入 4D 數(shù)據(jù)帶來的影響，一位來自國內(nèi)自動駕駛公司的工程師向汽車之心分析：

因為有了時間維度，系統(tǒng)就能知道目標物的運動，對其行為進行預測，而且，系統(tǒng)處理目標物識別、分類以及場景的重構(gòu)這類任務會更加輕松。

總之，加入時間維度，很大程度上是提高系統(tǒng)對整體場景的理解。 AP 要再往前走，必須進行革命，所以特斯拉這才決定重寫 AP。

另一方面，因為數(shù)據(jù)轉(zhuǎn)變成 4D，信息量更豐富，整個數(shù)據(jù)的容量也會變大，這也給特斯拉 AP 現(xiàn)有的用于深度神經(jīng)網(wǎng)絡訓練的基礎設施帶來了挑戰(zhàn)，所以就有了 Dojo。 所以， AP 為了實現(xiàn)性能和功能上更大的突破，倒逼其對 AP 基礎代碼以及訓練深度神經(jīng)網(wǎng)絡的基礎設施進行重構(gòu)。

這樣工作量龐大的復雜工程也成為 FSD 遲遲推出不了落地版本的重要原因。

除了在車載軟件和訓練服務器端變革，特斯拉在車載硬件端也做好了準備，就是其自研的 FSD 芯片。

FSD 已經(jīng)在去年4月份開始量產(chǎn)并搭載在特斯拉的車端。一位對熟悉特斯拉的業(yè)內(nèi)人士表示：

在 FSD 發(fā)布后的一段時間里，特斯拉 AP 團隊仍是基于 HW 2.x 的硬件（英偉達 Drive PX 平臺）進行功能開發(fā)，直到今年年初，特斯拉才開始全面轉(zhuǎn)向基于 FSD 芯片的軟件開發(fā)。

相較于英偉達 Drive PX 平臺，特斯拉 FSD 芯片在基礎算力和深度神經(jīng)網(wǎng)絡推理效率方面都有革命性提升，而且在視覺處理性能上，F(xiàn)SD 相較于英偉達的芯片有更大的優(yōu)勢。

所以趁著這一次特斯拉重寫 AP，整個系統(tǒng)需要處理的數(shù)據(jù)升維到了 4D，對計算硬件的要求指數(shù)級提高，F(xiàn)SD 的強大性能便終于有了廣闊的用武之地。

引入 FSD 芯片的 AP 在性能上會有多大提升？ 馬斯克此前在接受 Youtube 視頻博主采訪時透露過：

如果特斯拉全車的 8 顆攝像頭以36幀/秒的速度運行（性能拉滿），軟件則會基于 FSD 芯片的算力同步進行 3D 標注（2D 圖像+深度信息），這會使標注效率提升3倍，準確性也會大幅提升。

特斯拉重寫 AP，除了馬斯克口中所說的要突破「Local Maximun」以及挖掘 FSD 芯片的極限性能這兩方面的原因之外，還有一種可能性存在。硅谷一位資深自動駕駛工程師告訴汽車之心：

特斯拉現(xiàn)有的 AP 系統(tǒng)和后續(xù)要推出的 FSD 是兩套獨立開發(fā)的系統(tǒng)。

前者的架構(gòu)是針對于 L2/L3 級自動駕駛，而 FSD 的目標從一開始就是 L4/L5 級自動駕駛。因此，兩套系統(tǒng)在架構(gòu)上有本質(zhì)的差異，兩者差著一個代際。

后續(xù)，隨著技術(shù)不斷進步，F(xiàn)SD 也走向成熟，特斯拉決心把 FSD 和 AP 的框架進行整合。 但問題是，兩個系統(tǒng)中有些模塊可以融合，但是有些模塊是融合不了的，畢竟一個為 L2 開發(fā)的系統(tǒng)很難直接演變成 L4 系統(tǒng)。 所以特斯拉 AP 團隊要改寫 AP 軟件的框架和代碼，以實現(xiàn)兩個系統(tǒng)間的完美兼容，這樣的話，后續(xù)才能以統(tǒng)一的版本推送給購買了全自動駕駛選裝包的特斯拉車主。

實際上，我們也能從 AP 這些年的功能更新中發(fā)現(xiàn)一些蛛絲馬跡：

2017年3月，推送自動泊車和自動輔助變道功能；

2018年10月，推送自動輔助導航駕駛（NoA）功能；

2019年9月，推送智能召喚（Smart Summon）；

2020年4月，推送識別交通信號燈和停車標志并作出反應（海外先行）。

AP 還在最新的迭代過程中更新了一些令人驚喜的小功能：

比如在城市工況施工區(qū)域，沒有車道線的情況下，車身兩側(cè)皆為錐形桶，AP 能做到以錐形桶為依據(jù)實時繪制車道線。 AP 系統(tǒng)還能檢測到小動物并及時進行避讓，不過特斯拉是把小動物一律識別成人后才做出相應的操作。

基本上，在特斯拉官網(wǎng)上標明的 FSD 完全自動駕駛功能，還剩下一項最難的、也最能代表 L4 級自動駕駛能力的更新：在城市街道中進行自動輔助駕駛。為了實現(xiàn)這一難度最大的更新，特斯拉給出的最優(yōu)解就是重寫 AP。

基于以上分析，特斯拉重寫 AP 的原因便包括突破「Local Maximun」、挖掘 FSD 芯片的極限性能以及將系統(tǒng)能力從 L2 進化至 L4。

特斯拉重寫 AP，是重寫什么？

先來看看特斯拉 AP 現(xiàn)在最新的 AI 軟件堆棧是怎么樣的：

最底層的是數(shù)據(jù)、GPU 集群以及 Dojo 計算集群，這一層主要進行數(shù)據(jù)采集、標注和訓練，生成算法模型；

往上走就是采用深度神經(jīng)網(wǎng)絡對模型進行分布式訓練；再往上走就是用損失函數(shù)對模型進行評估；

在評估層之上，是云端推理層和車端 FSD 芯片推理層，到這一層，意味著算法模型走完了大部分流程，然后就是部署到車端；

在車端，特斯拉通過影子模式（Shadow Mode）將這些算法模型與人類駕駛行為進行比對，檢測是否存在異常。

這樣的從數(shù)據(jù)采集到算法部署的閉環(huán)，目的就是讓系統(tǒng)性能不斷迭代，更加優(yōu)秀。

在這個閉環(huán)當中，涉及到數(shù)據(jù)集、模型訓練神經(jīng)網(wǎng)絡、云端和車端推理算法等等要素。

所以，當數(shù)據(jù)形式從二維的圖像數(shù)據(jù)（2D）轉(zhuǎn)換成四維的視頻級數(shù)據(jù)（4D）后，相應的神經(jīng)網(wǎng)絡和推理算法都需要進行重寫。

據(jù)馬斯克透露，特斯拉 AP 新版本的深度神經(jīng)網(wǎng)絡會將包括感知、路徑規(guī)劃、目標識別等所有子神經(jīng)網(wǎng)絡綜合于一體。

特斯拉AI高級總監(jiān) Andrej Karpathy 在此前的一次演講中表示：

我們無法讓每一個任務都享有單獨的神經(jīng)網(wǎng)絡運算，因為同時處理的任務數(shù)實在太多，我們只能把一些運算分攤到共享骨干網(wǎng)絡上。

Andrej Karpathy 將這一骨干網(wǎng)絡稱為 HydraNets（Hydra 意為九頭蛇），意思就是有一個主干網(wǎng)絡（Backbone），在這個網(wǎng)絡上有多個不同的出口（Head）來做應用，然后輸出各自的結(jié)果。

在特斯拉 AP 最新的 AI 軟件堆棧中，有一個最值得關(guān)注的部分就是 Dojo 訓練集群，這個集群可以處理海量的圖像、視頻數(shù)據(jù)。

引入這一訓練計算機，一方面是為了滿足特斯拉 AP 系統(tǒng)此后的 4D 視頻數(shù)據(jù)處理需求。

另一方面，特斯拉在全球有超過 82 萬輛搭載 HW 2.0/3.0 硬件的車輛每天在道路上行駛，可以采集海量的數(shù)據(jù)用于 AP 的訓練，而如此海量的數(shù)據(jù)，必然需要具備強大計算性能計算機來進行處理。

Dojo 還有一個特別之處在于，它可以與無監(jiān)督學習進行配合。 所謂無監(jiān)督學習，就是無需人工對訓練數(shù)據(jù)集進行標注，系統(tǒng)可以自行根據(jù)樣本間的統(tǒng)計規(guī)律對樣本集進行分析，常見任務如聚類等。

例如無監(jiān)督學習在不給任何額外提示的情況下，僅依據(jù)一定數(shù)量的「狗」的圖片特征，將「狗」的圖片從大量的各種各樣的圖片中將區(qū)分出來。

有了無監(jiān)督學習技術(shù)加持的 Dojo 計算機，便能以極低的成本對數(shù)據(jù)進行自動標注和訓練，實現(xiàn)算法性能的指數(shù)級提高。

不過，用上了無監(jiān)督學習技術(shù)的特斯拉，依然有一支大約500人規(guī)模的數(shù)據(jù)標注團隊。

因為在一些初始神經(jīng)網(wǎng)絡模型的搭建過程中，采用人工標注的方式置信度更高。而且，特斯拉并未大規(guī)模采用無監(jiān)督學習技術(shù)，現(xiàn)在都還處在嘗鮮階段。

那么，Dojo 計算機上搭載的會是誰家的芯片呢？ 目前特斯拉自研的 FSD 芯片屬于推理芯片，用于 Dojo 計算機的芯片屬于訓練芯片。

有業(yè)內(nèi)人士向我們分析表示，Dojo 所采用的芯片應該是 FSD 芯片的擴展版本。 這也是為什么馬斯克在為自家 AI 和芯片團隊招人時，特意公布了其在研發(fā)的 Dojo 計算機的情況，大概率要招的人就是為了研發(fā)用于 Dojo 計算機的芯片。

特斯拉 FSD 走向何方

無論是大力投入資源重寫 AP 基礎代碼和深度神經(jīng)網(wǎng)絡，還是廣納賢才開發(fā)性能強大的數(shù)據(jù)訓練計算機 Dojo，都體現(xiàn)了特斯拉要先人一步搞定完全自動駕駛的決心。

特斯拉擁有龐大規(guī)模的數(shù)據(jù)采集車隊，也聚集了 300 多位全球頂尖的自動駕駛和深度學習方面的軟硬件研發(fā)人才，從數(shù)據(jù)到算法到商業(yè)化，特斯拉在自動駕駛領域有著其他廠商無法比擬的優(yōu)勢。

在這些優(yōu)勢的加持之下，特斯拉仍然遲遲無法量產(chǎn)真正意義上的完全自動駕駛功能，那些買了 FSD 選裝包的特斯拉用戶著急，馬斯克則更急。

所有人都在期待著重寫完成后的 AP 系統(tǒng)能真正進化至 FSD 版本，而這一切都要等到今年年底見真章。 在重寫 AP 的同時，特斯拉也沒有停止在硬件層面的持續(xù)研發(fā)。

據(jù)媒體報道，特斯拉正與博通合作研發(fā)新款 HW 4.0 自動駕駛芯片，其性能比 FSD 還要強大 3 倍，計劃明年第四季度進行大規(guī)模量產(chǎn)，由臺積電負責生產(chǎn)。 特斯拉在 AP 層面，是一個接一個的大動作，而這一切動作都有一個統(tǒng)一的目標：更優(yōu)秀的 AP、更強大的 FSD。

即使現(xiàn)在其表現(xiàn)還不盡如人意，但未來值得期待。
責任編輯：tzh