在 GTC 2022 秋季大會上，NVIDIA 汽車部門營銷經(jīng)理 Katie Burke Washabaugh，面向想要了解自動駕駛汽車、并有志于投身自動駕駛行業(yè)的觀眾，介紹了自動駕駛汽車的相關(guān)技術(shù)以及發(fā)展前景。小編對此次分享的精華內(nèi)容進(jìn)行了匯總和整理。

在上篇，我們回顧了自動駕駛汽車的發(fā)展歷史，介紹了自動駕駛汽車的工作原理。得益于 AI 技術(shù)的突破，自動駕駛汽車飛速發(fā)展，運算速度也從 2007 年的 230 FLOPS 躍升至 2022 年的 254 TOPS，向軟件定義汽車發(fā)展。現(xiàn)在，讓我們從汽車到后臺的數(shù)據(jù)中心，了解自動駕駛汽車如何學(xué)習(xí)、識別現(xiàn)實世界中的物體并做出反應(yīng)。

訓(xùn)練＋仿真，自動駕駛“學(xué)海無涯”

海量數(shù)據(jù)支撐 AI 訓(xùn)練架構(gòu)

深度學(xué)習(xí)讓汽車能夠像人類一樣與世界互動?；跀?shù)據(jù)中心和超級計算技術(shù)，汽車能夠通過 AI 訓(xùn)練基礎(chǔ)架構(gòu)來進(jìn)行訓(xùn)練、學(xué)習(xí)。

在正式上路前，自動駕駛汽車需要在數(shù)據(jù)中心進(jìn)行大量駕駛數(shù)據(jù)的訓(xùn)練。開發(fā)人員將基于這些數(shù)據(jù)，進(jìn)行反復(fù)訓(xùn)練和驗證，從而確保在自動駕駛汽車上運行的深度神經(jīng)網(wǎng)絡(luò)能夠準(zhǔn)確地感知相關(guān)信息。然后，這些網(wǎng)絡(luò)會進(jìn)行大量仿真測試，以確保自動駕駛車輛能在現(xiàn)實世界中正常運行。

接下來，讓我們深入了解自動駕駛算法的開發(fā)過程。

第一步，從數(shù)據(jù)采集入手。單個測試車輛運行 6 小時會產(chǎn)生 32TB 數(shù)據(jù)，當(dāng)測試對象擴(kuò)展為每天都會行駛 6 小時的 50 輛車時，這一數(shù)字將飆升為 1.6PB。這些數(shù)據(jù)，需要傳輸、編碼和存儲，然后才能進(jìn)行進(jìn)一步的處理。

第二步，對數(shù)據(jù)進(jìn)行梳理。開發(fā)者必須對這些數(shù)據(jù)進(jìn)行篩選，他們需要逐幀瀏覽數(shù)據(jù)，從中選取對于訓(xùn)練來說較為實用的實例。這里說的“實用”，指的是該幀所包含的數(shù)據(jù)為深度神經(jīng)網(wǎng)絡(luò)從未接觸過的新數(shù)據(jù)，或是在當(dāng)前訓(xùn)練數(shù)據(jù)中較為缺乏的數(shù)據(jù)。通常，實用數(shù)據(jù)約占總采集數(shù)據(jù)的 10%，這個過程非常耗時。

第三步，數(shù)據(jù)標(biāo)記。當(dāng)數(shù)據(jù)篩選完畢后，必須對篩選出的數(shù)據(jù)進(jìn)行標(biāo)記，即對圖像的每個組成部分進(jìn)行識別與標(biāo)記。這樣，當(dāng)深度神經(jīng)網(wǎng)絡(luò)基于該數(shù)據(jù)進(jìn)行訓(xùn)練時，可以正確識別出相應(yīng)的組成部分。此外，在驗證過程中，還能通過這些標(biāo)記對神經(jīng)網(wǎng)絡(luò)進(jìn)行仔細(xì)檢查，確保該網(wǎng)絡(luò)能夠正確識別行人等。

第四步，訓(xùn)練。完成預(yù)處理流程后，即可開始訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。在此過程中，開發(fā)者需要長時間運行這些網(wǎng)絡(luò)來處理海量圖像，以便能夠在任何照明條件、天氣條件、地理位置下，均能準(zhǔn)確可靠地識別出相關(guān)交通標(biāo)志。

第五步，回放。訓(xùn)練完成后，這些網(wǎng)絡(luò)會通過“回放”流程接受驗證。開發(fā)者會回放駕駛數(shù)據(jù)，以檢查這些網(wǎng)絡(luò)的準(zhǔn)確性。

第六步，仿真。最后，在仿真環(huán)境中，運行包含所有神經(jīng)網(wǎng)絡(luò)的軟件，了解它在實際駕駛環(huán)境中的表現(xiàn)，并將它運用于實際公路駕駛中。

可以看到，這個流程非常復(fù)雜。不管是從前期的數(shù)據(jù)采集、打標(biāo)、清理，還是到后期的算法驗證、測試，以及中間各種功能模型的訓(xùn)練和開發(fā)，不同的階段，會涉及到不同的復(fù)雜的工具和框架。對于自動駕駛算法設(shè)計者來說，端到端無縫流暢的開發(fā)環(huán)境，將大大提高研發(fā)效率。

仿真技術(shù)豐富場景模擬

了解完訓(xùn)練，那么仿真過程究竟是如何運作的呢？

上文也提到，深度神經(jīng)網(wǎng)絡(luò)必須能夠應(yīng)對各種天氣、道路或光線條件。由于真實駕駛可能需要很長時間才能覆蓋所有可能發(fā)生的情況，因此無法通過真實駕駛來進(jìn)行針對性的測試，這個時候，我們就需要仿真。

NVIDIA 構(gòu)建了一個高保真仿真試驗場，用于測試這些罕見的場景，也就是所謂的“邊緣案例”或 “長尾場景”，例如，一只鹿在清晨從車前跑過、從天而降的一棵樹、從卡車上掉下來的雞等等，簡單來說，就是人們希望自動駕駛汽車能夠安全應(yīng)對的各種千奇百怪的情況。

將實際道路測試與仿真技術(shù)結(jié)合，是未來部署自動駕駛汽車的關(guān)鍵所在。NVIDIA 將通過 DRIVE Sim 實現(xiàn)這一點。DRIVE Sim 采用物理準(zhǔn)確的高保真仿真技術(shù)，通過安全、可擴(kuò)展且經(jīng)濟(jì)高效的方式，推動自動駕駛汽車上路。DRIVE Sim 運用 RTX、Omniverse 和 AI 等 NVIDIA 的核心技術(shù)，打造基于云的強(qiáng)大計算平臺，可以生成一系列尋?；蚝币姷默F(xiàn)實世界場景，從而滿足自動駕駛?cè)骝炞C的需求。除了利用從現(xiàn)實世界中收集的數(shù)據(jù)，DRIVE Sim 還可以生成預(yù)先標(biāo)記的合成數(shù)據(jù)集，用戶可以繞過整個預(yù)處理流程，根據(jù)需求定制測試場景，填補(bǔ)當(dāng)前開發(fā)流程中的空白。

上文介紹了許多關(guān)于仿真的內(nèi)容，以下是兩段視頻，幫助大家了解實際操作。

持續(xù)開發(fā)造就無限可能

從數(shù)據(jù)采集到仿真的開發(fā)流程并不是線性的，而是一個持續(xù)的開發(fā)周期。汽車在行駛時會不斷收集數(shù)據(jù)，然后這些數(shù)據(jù)會用于優(yōu)化和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的新功能，這些功能通過 OTA 無線更新到汽車上，從而真正實現(xiàn)軟件定義汽車。

軟件定義架構(gòu)將徹底改變客戶體驗。從前如果購買一輛車，在駛離 4S 店的那一刻，這輛車便已達(dá)到其技術(shù)巔峰，雖然未來新功能會不斷推出，但是這些功能都將搭載在該車輛的未來型號上，而不是所購買的這輛汽車。現(xiàn)在，軟件定義架構(gòu)完全改變了這種局面，客戶在車輛的整個生命周期內(nèi)，都能享受到最新推出的新技術(shù)、新功能。軟件定義汽車將顛覆汽車行業(yè)，開啟新的商業(yè)模式。

自動駕駛汽車開發(fā)—持續(xù)的開發(fā)流

軟件定義與 AI 合力，自動駕駛汽車未來可期

通過上文，大家已經(jīng)了解到自動駕駛技術(shù)的工作原理及開發(fā)方式，未來 10 年可能會有什么趨勢？

軟件定義汽車大勢所趨

未來將會推出許多值得關(guān)注的新技術(shù)。具體來說，汽車制造商將在未來幾年開始推出軟件定義汽車。2020 年，梅賽德斯-奔馳宣布將于 2024 年基于 DRIVE Orin 平臺，生產(chǎn)軟件定義汽車。今年 2 月，捷豹路虎也宣布將于 2025 年推出軟件定義汽車。此外，一些新能源汽車公司已經(jīng)宣布要推出類似的架構(gòu)，越來越多的汽車將會采用這個極具突破性的軟件定義架構(gòu)。

同時，車載計算也將繼續(xù)發(fā)展。正如前文所述，這些計算平臺需要具備可擴(kuò)展性，以便車企能夠?qū)⑵淠壳盎?DRIVE Orin 開發(fā)的軟件，移植到可實現(xiàn) 2000 TOPS 運算的新一代計算平臺 DRIVE Thor 中，從而繼續(xù)使用這些軟件。

回顧自動駕駛汽車的發(fā)展歷程，不禁令人感嘆創(chuàng)新速度的迅猛。令人欣喜的是，在各個階段中，自動駕駛行業(yè)都能夠不斷利用最新的創(chuàng)新成果，其中智能座艙的發(fā)展尤其值得關(guān)注：

AI 座艙魅力無限

車載技術(shù)將變得越來越強(qiáng)大。具體來說，駕駛艙內(nèi)置的輔助功能將實現(xiàn)智能化。以下圖片展示的是 NVIDIA DRIVE Concierge。DRIVE Concierge 具有獨特的設(shè)計，可以充當(dāng)駕駛員和乘客的數(shù)字助手，協(xié)助乘客進(jìn)行預(yù)訂、為乘客推薦當(dāng)?shù)靥厣艽螂娫捄桶l(fā)出提醒。無論是將錢包落在車上，還是外出購物時忘記在下午 4 點的線上會議等，DRIVE Concierge 都可以發(fā)出提醒。總而言之，DRIVE Concierge 可為車上的駕駛員和每位乘客提供個性化服務(wù)。

NVIDIA DRIVE CONCIERGE

DRIVE Concierge 基于 Omniverse Avatar 實現(xiàn)以上功能。Omniverse Avatar 能將語音 AI、計算機(jī)視覺、自然語言理解、推薦引擎和仿真技術(shù)相結(jié)合?；?Omniverse Avatar 創(chuàng)建的虛擬形象，是具有光線追蹤 3D 圖形效果的交互式角色，可視可聽，可就廣泛的主題進(jìn)行交談，并理解自然語言意圖。通過 Omniverse Avatar，人們將能夠與汽車進(jìn)行自然對話。此前需要通過物理控制或使用觸控屏實現(xiàn)的許多功能，現(xiàn)在只需下達(dá)語音命令即可完成。

還記得在上篇中，我們提到的電視劇《霹靂游俠》（Knight Rider）中高度人工智能的跑車 KITT 嗎？現(xiàn)在它已經(jīng)從科幻作品照進(jìn)現(xiàn)實！觀看以下視頻，了解 NVIDIA DRIVE Concierge。

以上就是本次分享的全部內(nèi)容。如欲了解更多自動駕駛訓(xùn)練和仿真的內(nèi)容，請查看推薦閱讀。

推薦閱讀

NVIDIA攜手IDC發(fā)布行業(yè)白皮書：現(xiàn)實+仿真，超大算力賦能自動駕駛

一文看懂DRIVE Replicator：合成數(shù)據(jù)生成加速自動駕駛汽車的開發(fā)和驗證

一文讀懂自動駕駛汽車：軟硬結(jié)合 造就未來出行體驗（上篇）

點擊“閱讀原文”，了解更多關(guān)于 NVIDIA 自動駕駛汽車解決方案的內(nèi)容。

?

即刻掃描下方海報二維碼，收下這份 GTC22 精選演講合集清單，在NVIDIA on-Demand 上點播觀看主題演講精選、中國精選、元宇宙應(yīng)用領(lǐng)域與全球各行業(yè)及領(lǐng)域的最新成果！