英偉達在今年的秋季GTC大會上發(fā)布了下一代自動駕駛芯片Thor，再次點燃了自動駕駛算力比拼的導(dǎo)火索。我們已經(jīng)看到國內(nèi)汽車市場中，蔚來、智已、飛凡等廠商積極在新車型上集成這一代Orin芯片，Thor能收獲怎樣的市場反響已經(jīng)可以預(yù)知。其實英偉達所做的遠不止于此，他們的王牌是一整套DRIVE自動駕駛軟硬件生態(tài)。

從車端到云端

NAD是蔚來打造的全棧自動駕駛方案，在車身的Aquila超級傳感系統(tǒng)上，蔚來選擇了33個高性能的傳感單元，包括7個800萬像素的高分辨率攝像頭、4個300萬像素的環(huán)視專用攝像頭、1個1550nm的超長測距激光雷達、5個毫米波雷達、12個USS超聲波傳感器、兩個高精度定位單元（GNSS+IMU）、1個V2X和一個ADMS。

然而，這樣龐大的傳感系統(tǒng)，也帶來了更大的數(shù)據(jù)吞吐量，根據(jù)蔚來的說明，Aquila每秒要傳輸8GB的數(shù)據(jù)。要完成如此規(guī)模的數(shù)據(jù)計算量，車身上必須具備強大的算力，所以蔚來的Adam超級計算系統(tǒng)配置了4個英偉達DriveOrin，將算力提高至1016TOPS，以滿足自動駕駛的計算要求。
但自動駕駛從來都不只是車端的工作，如何訓(xùn)練并利用這些得到的數(shù)據(jù)，提高自動駕駛算法的可靠性，才是廠商們需要持續(xù)發(fā)力的工作。這里我就拿大家最關(guān)注的一個功能來分析一下，AEB緊急制動功能。

蔚來稱在研發(fā)初期，他們需要在10天內(nèi)制作出100萬個數(shù)據(jù)分布較好的高質(zhì)量素材，以求滿足最低的精度和時延要求。后續(xù)就要在英偉達的GPU上跑AI負載，這個過程需要200個GPU整整運行3個月。

除了訓(xùn)練以外，為了確保NAD在引入新改進后既能解決相應(yīng)的問題，又不會引入新的問題，蔚來還基于英偉達的開源推理服務(wù)器軟件Triton打造了一套高性能的推理服務(wù)，每天開展10萬個推理任務(wù)，用于數(shù)據(jù)挖掘、仿真和回歸測試等。

值得一提的是，目前蔚來的NAD尚未正式投入使用，不少人都想知道他們與其他競爭對手公司的自動駕駛系統(tǒng)有何差距。不過蔚來表示，他們的產(chǎn)品團隊正在測試NAD與其他自動駕駛方案的性能對比，待報告完成后會公開分享出來。

合成數(shù)據(jù)加速自動駕駛開發(fā)

打從一開始，我們都對合成數(shù)據(jù)有著或多或少的偏見，認為這是假數(shù)據(jù)，怎么能用在以安全為第一要義的自動駕駛中呢？但事實上，在物理屬性準確的合成數(shù)據(jù)下，我們甚至可以將其看作是罕見的真實數(shù)據(jù)。

就拿車禍來說，盡管這是常見道路情況之一，但相對正常駕駛的數(shù)據(jù)來說，采集到的真實車禍數(shù)據(jù)在數(shù)量上肯定是遠遠不及的，更別說拿來做仿真訓(xùn)練了，在汽車試驗場中測出來的車禍數(shù)據(jù)也難以代表真實路況數(shù)據(jù)。至于那些更稀少但又并非不存在的情況，比如貨箱、輪胎脫落等，也都是會對自動駕駛場景造成干擾的。
英偉達DRIVE Sim中的DRIVE Replicator就為開發(fā)者提供了一個生成各種合成數(shù)據(jù)集，并具備真值標簽的平臺，為訓(xùn)練和驗證一個覆蓋全場景的自動駕駛算法提供幫助。至于合成數(shù)據(jù)中常見的數(shù)據(jù)偏見問題，DRIVE Replicator提供了隨機化引擎，通過泛化來讓虛擬域的數(shù)據(jù)盡可能涵蓋到真實域。DRIVE Sim的場景編輯已經(jīng)實現(xiàn)了相當(dāng)優(yōu)秀的隨機化，比如借助SimReadyAPI實時改變自然/人工光線、路況天氣等等。

除此之外DRIVE Replicator還可以通過PythonAPI對USD模型和屬性實現(xiàn)直接控制來完成隨機化，比如隨機將一個包含動量數(shù)據(jù)的物體隔空生成在路面上。盡管這已經(jīng)超出了真實的范疇，但這對于訓(xùn)練自動駕駛算法對于VRU（弱勢道路使用者）的識別相當(dāng)有用，比如突然出現(xiàn)在汽車后方的小孩等。

至于傳感器的仿真建模，英偉達也已經(jīng)在著手打造自己的一套驗證系統(tǒng)，以求在真實環(huán)境和仿真環(huán)境中，得到相匹配的傳感器數(shù)據(jù)，比如攝像頭在麥克佩斯色卡下展現(xiàn)與真實環(huán)境一樣的色彩和亮度。

DRIVE SIM——英偉達在自動駕駛仿真上的CUDA？

可能從多數(shù)人的視角看來，英偉達在汽車上的動作僅僅支持推出自動駕駛芯片而已，就像大多數(shù)車廠在發(fā)布會上提及的那樣，新車型搭載了哪些芯片等等。但事實上英偉達對自動駕駛技術(shù)的投入遠不只有芯片，英偉達已經(jīng)基于Omniverse這一技術(shù)底座，打造了DRIVE Sim這樣一個龐大的互通仿真平臺。這對于汽車廠商來說具有很重要的意義，因為不僅是造車新勢力，老牌車廠也享受到了英偉達提供的自動駕駛開發(fā)工作流帶來的便利。
比如蔚來等一眾造車新勢力，他們在自動駕駛傳感器的選擇上是相當(dāng)多樣化的，而英偉達的DRIVE Sim已經(jīng)通過一系列API加入了對通用和Hyperion傳感器套件的配置和擴展，無疑極大地減輕汽車廠商的開發(fā)工作量。而傳感器廠商也在積極加入對DRIVE Sim的支持，諸如索尼、禾賽和Luminar等等。一是他們也沒有這么多精力來打造這樣一個互通的開發(fā)生態(tài)，二是英偉達在提供傳感器開發(fā)自由度的同時，也給到了對專有IP的保護，因為英偉達并不需要知道這些傳感器的實現(xiàn)方式。

而這樣一個軟件生態(tài)卻又與英偉達的硬件息息相關(guān)，甚至在新發(fā)布的L40等硬件上能發(fā)揮出更大的優(yōu)勢，似乎又一個CUDA生態(tài)呼之欲出，而這次是出現(xiàn)在自動駕駛上。不由得讓人佩服起英偉達，在這些TO B產(chǎn)品的軟硬件生態(tài)融合上，他們確實是無可匹敵的。