英偉達(dá)在今年的秋季GTC大會上發(fā)布了下一代自動駕駛芯片Thor，再次點(diǎn)燃了自動駕駛算力比拼的導(dǎo)火索。我們已經(jīng)看到國內(nèi)汽車市場中，蔚來、智已、飛凡等廠商積極在新車型上集成這一代Orin芯片，Thor能收獲怎樣的市場反響已經(jīng)可以預(yù)知。其實(shí)英偉達(dá)所做的遠(yuǎn)不止于此，他們的王牌是一整套DRIVE自動駕駛軟硬件生態(tài)。

從車端到云端

NAD是蔚來打造的全棧自動駕駛方案，在車身的Aquila超級傳感系統(tǒng)上，蔚來選擇了33個高性能的傳感單元，包括7個800萬像素的高分辨率攝像頭、4個300萬像素的環(huán)視專用攝像頭、1個1550nm的超長測距激光雷達(dá)、5個毫米波雷達(dá)、12個USS超聲波傳感器、兩個高精度定位單元（GNSS+IMU）、1個V2X和一個ADMS。

然而，這樣龐大的傳感系統(tǒng)，也帶來了更大的數(shù)據(jù)吞吐量，根據(jù)蔚來的說明，Aquila每秒要傳輸8GB的數(shù)據(jù)。要完成如此規(guī)模的數(shù)據(jù)計(jì)算量，車身上必須具備強(qiáng)大的算力，所以蔚來的Adam超級計(jì)算系統(tǒng)配置了4個英偉達(dá)DriveOrin，將算力提高至1016TOPS，以滿足自動駕駛的計(jì)算要求。
但自動駕駛從來都不只是車端的工作，如何訓(xùn)練并利用這些得到的數(shù)據(jù)，提高自動駕駛算法的可靠性，才是廠商們需要持續(xù)發(fā)力的工作。這里我就拿大家最關(guān)注的一個功能來分析一下，AEB緊急制動功能。

蔚來稱在研發(fā)初期，他們需要在10天內(nèi)制作出100萬個數(shù)據(jù)分布較好的高質(zhì)量素材，以求滿足最低的精度和時延要求。后續(xù)就要在英偉達(dá)的GPU上跑AI負(fù)載，這個過程需要200個GPU整整運(yùn)行3個月。

除了訓(xùn)練以外，為了確保NAD在引入新改進(jìn)后既能解決相應(yīng)的問題，又不會引入新的問題，蔚來還基于英偉達(dá)的開源推理服務(wù)器軟件Triton打造了一套高性能的推理服務(wù)，每天開展10萬個推理任務(wù)，用于數(shù)據(jù)挖掘、仿真和回歸測試等。

值得一提的是，目前蔚來的NAD尚未正式投入使用，不少人都想知道他們與其他競爭對手公司的自動駕駛系統(tǒng)有何差距。不過蔚來表示，他們的產(chǎn)品團(tuán)隊(duì)正在測試NAD與其他自動駕駛方案的性能對比，待報(bào)告完成后會公開分享出來。

合成數(shù)據(jù)加速自動駕駛開發(fā)

打從一開始，我們都對合成數(shù)據(jù)有著或多或少的偏見，認(rèn)為這是假數(shù)據(jù)，怎么能用在以安全為第一要義的自動駕駛中呢？但事實(shí)上，在物理屬性準(zhǔn)確的合成數(shù)據(jù)下，我們甚至可以將其看作是罕見的真實(shí)數(shù)據(jù)。

就拿車禍來說，盡管這是常見道路情況之一，但相對正常駕駛的數(shù)據(jù)來說，采集到的真實(shí)車禍數(shù)據(jù)在數(shù)量上肯定是遠(yuǎn)遠(yuǎn)不及的，更別說拿來做仿真訓(xùn)練了，在汽車試驗(yàn)場中測出來的車禍數(shù)據(jù)也難以代表真實(shí)路況數(shù)據(jù)。至于那些更稀少但又并非不存在的情況，比如貨箱、輪胎脫落等，也都是會對自動駕駛場景造成干擾的。
英偉達(dá)DRIVE Sim中的DRIVE Replicator就為開發(fā)者提供了一個生成各種合成數(shù)據(jù)集，并具備真值標(biāo)簽的平臺，為訓(xùn)練和驗(yàn)證一個覆蓋全場景的自動駕駛算法提供幫助。至于合成數(shù)據(jù)中常見的數(shù)據(jù)偏見問題，DRIVE Replicator提供了隨機(jī)化引擎，通過泛化來讓虛擬域的數(shù)據(jù)盡可能涵蓋到真實(shí)域。DRIVE Sim的場景編輯已經(jīng)實(shí)現(xiàn)了相當(dāng)優(yōu)秀的隨機(jī)化，比如借助SimReadyAPI實(shí)時改變自然/人工光線、路況天氣等等。

除此之外DRIVE Replicator還可以通過PythonAPI對USD模型和屬性實(shí)現(xiàn)直接控制來完成隨機(jī)化，比如隨機(jī)將一個包含動量數(shù)據(jù)的物體隔空生成在路面上。盡管這已經(jīng)超出了真實(shí)的范疇，但這對于訓(xùn)練自動駕駛算法對于VRU（弱勢道路使用者）的識別相當(dāng)有用，比如突然出現(xiàn)在汽車后方的小孩等。

至于傳感器的仿真建模，英偉達(dá)也已經(jīng)在著手打造自己的一套驗(yàn)證系統(tǒng)，以求在真實(shí)環(huán)境和仿真環(huán)境中，得到相匹配的傳感器數(shù)據(jù)，比如攝像頭在麥克佩斯色卡下展現(xiàn)與真實(shí)環(huán)境一樣的色彩和亮度。

DRIVE SIM——英偉達(dá)在自動駕駛仿真上的CUDA？

可能從多數(shù)人的視角看來，英偉達(dá)在汽車上的動作僅僅支持推出自動駕駛芯片而已，就像大多數(shù)車廠在發(fā)布會上提及的那樣，新車型搭載了哪些芯片等等。但事實(shí)上英偉達(dá)對自動駕駛技術(shù)的投入遠(yuǎn)不只有芯片，英偉達(dá)已經(jīng)基于Omniverse這一技術(shù)底座，打造了DRIVE Sim這樣一個龐大的互通仿真平臺。這對于汽車廠商來說具有很重要的意義，因?yàn)椴粌H是造車新勢力，老牌車廠也享受到了英偉達(dá)提供的自動駕駛開發(fā)工作流帶來的便利。
比如蔚來等一眾造車新勢力，他們在自動駕駛傳感器的選擇上是相當(dāng)多樣化的，而英偉達(dá)的DRIVE Sim已經(jīng)通過一系列API加入了對通用和Hyperion傳感器套件的配置和擴(kuò)展，無疑極大地減輕汽車廠商的開發(fā)工作量。而傳感器廠商也在積極加入對DRIVE Sim的支持，諸如索尼、禾賽和Luminar等等。一是他們也沒有這么多精力來打造這樣一個互通的開發(fā)生態(tài)，二是英偉達(dá)在提供傳感器開發(fā)自由度的同時，也給到了對專有IP的保護(hù)，因?yàn)橛ミ_(dá)并不需要知道這些傳感器的實(shí)現(xiàn)方式。

而這樣一個軟件生態(tài)卻又與英偉達(dá)的硬件息息相關(guān)，甚至在新發(fā)布的L40等硬件上能發(fā)揮出更大的優(yōu)勢，似乎又一個CUDA生態(tài)呼之欲出，而這次是出現(xiàn)在自動駕駛上。不由得讓人佩服起英偉達(dá)，在這些TO B產(chǎn)品的軟硬件生態(tài)融合上，他們確實(shí)是無可匹敵的。