在 GTC 2022 秋季大會(huì)上，NVIDIA 汽車部門營銷經(jīng)理 Katie Burke Washabaugh，面向想要了解自動(dòng)駕駛汽車、并有志于投身自動(dòng)駕駛行業(yè)的觀眾，介紹了自動(dòng)駕駛汽車的相關(guān)技術(shù)以及發(fā)展前景。小編對(duì)此次分享的精華內(nèi)容進(jìn)行了匯總和整理。

在上篇，我們回顧了自動(dòng)駕駛汽車的發(fā)展歷史，介紹了自動(dòng)駕駛汽車的工作原理。得益于 AI 技術(shù)的突破，自動(dòng)駕駛汽車飛速發(fā)展，運(yùn)算速度也從 2007 年的 230 FLOPS 躍升至 2022 年的 254 TOPS，向軟件定義汽車發(fā)展。現(xiàn)在，讓我們從汽車到后臺(tái)的數(shù)據(jù)中心，了解自動(dòng)駕駛汽車如何學(xué)習(xí)、識(shí)別現(xiàn)實(shí)世界中的物體并做出反應(yīng)。

訓(xùn)練＋仿真，自動(dòng)駕駛“學(xué)海無涯”

海量數(shù)據(jù)支撐 AI 訓(xùn)練架構(gòu)

深度學(xué)習(xí)讓汽車能夠像人類一樣與世界互動(dòng)?；跀?shù)據(jù)中心和超級(jí)計(jì)算技術(shù)，汽車能夠通過 AI 訓(xùn)練基礎(chǔ)架構(gòu)來進(jìn)行訓(xùn)練、學(xué)習(xí)。

在正式上路前，自動(dòng)駕駛汽車需要在數(shù)據(jù)中心進(jìn)行大量駕駛數(shù)據(jù)的訓(xùn)練。開發(fā)人員將基于這些數(shù)據(jù)，進(jìn)行反復(fù)訓(xùn)練和驗(yàn)證，從而確保在自動(dòng)駕駛汽車上運(yùn)行的深度神經(jīng)網(wǎng)絡(luò)能夠準(zhǔn)確地感知相關(guān)信息。然后，這些網(wǎng)絡(luò)會(huì)進(jìn)行大量仿真測(cè)試，以確保自動(dòng)駕駛車輛能在現(xiàn)實(shí)世界中正常運(yùn)行。

接下來，讓我們深入了解自動(dòng)駕駛算法的開發(fā)過程。

第一步，從數(shù)據(jù)采集入手。單個(gè)測(cè)試車輛運(yùn)行 6 小時(shí)會(huì)產(chǎn)生 32TB 數(shù)據(jù)，當(dāng)測(cè)試對(duì)象擴(kuò)展為每天都會(huì)行駛 6 小時(shí)的 50 輛車時(shí)，這一數(shù)字將飆升為 1.6PB。這些數(shù)據(jù)，需要傳輸、編碼和存儲(chǔ)，然后才能進(jìn)行進(jìn)一步的處理。

第二步，對(duì)數(shù)據(jù)進(jìn)行梳理。開發(fā)者必須對(duì)這些數(shù)據(jù)進(jìn)行篩選，他們需要逐幀瀏覽數(shù)據(jù)，從中選取對(duì)于訓(xùn)練來說較為實(shí)用的實(shí)例。這里說的“實(shí)用”，指的是該幀所包含的數(shù)據(jù)為深度神經(jīng)網(wǎng)絡(luò)從未接觸過的新數(shù)據(jù)，或是在當(dāng)前訓(xùn)練數(shù)據(jù)中較為缺乏的數(shù)據(jù)。通常，實(shí)用數(shù)據(jù)約占總采集數(shù)據(jù)的 10%，這個(gè)過程非常耗時(shí)。

第三步，數(shù)據(jù)標(biāo)記。當(dāng)數(shù)據(jù)篩選完畢后，必須對(duì)篩選出的數(shù)據(jù)進(jìn)行標(biāo)記，即對(duì)圖像的每個(gè)組成部分進(jìn)行識(shí)別與標(biāo)記。這樣，當(dāng)深度神經(jīng)網(wǎng)絡(luò)基于該數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，可以正確識(shí)別出相應(yīng)的組成部分。此外，在驗(yàn)證過程中，還能通過這些標(biāo)記對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行仔細(xì)檢查，確保該網(wǎng)絡(luò)能夠正確識(shí)別行人等。

第四步，訓(xùn)練。完成預(yù)處理流程后，即可開始訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。在此過程中，開發(fā)者需要長時(shí)間運(yùn)行這些網(wǎng)絡(luò)來處理海量圖像，以便能夠在任何照明條件、天氣條件、地理位置下，均能準(zhǔn)確可靠地識(shí)別出相關(guān)交通標(biāo)志。

第五步，回放。訓(xùn)練完成后，這些網(wǎng)絡(luò)會(huì)通過“回放”流程接受驗(yàn)證。開發(fā)者會(huì)回放駕駛數(shù)據(jù)，以檢查這些網(wǎng)絡(luò)的準(zhǔn)確性。

第六步，仿真。最后，在仿真環(huán)境中，運(yùn)行包含所有神經(jīng)網(wǎng)絡(luò)的軟件，了解它在實(shí)際駕駛環(huán)境中的表現(xiàn)，并將它運(yùn)用于實(shí)際公路駕駛中。

可以看到，這個(gè)流程非常復(fù)雜。不管是從前期的數(shù)據(jù)采集、打標(biāo)、清理，還是到后期的算法驗(yàn)證、測(cè)試，以及中間各種功能模型的訓(xùn)練和開發(fā)，不同的階段，會(huì)涉及到不同的復(fù)雜的工具和框架。對(duì)于自動(dòng)駕駛算法設(shè)計(jì)者來說，端到端無縫流暢的開發(fā)環(huán)境，將大大提高研發(fā)效率。

仿真技術(shù)豐富場(chǎng)景模擬

了解完訓(xùn)練，那么仿真過程究竟是如何運(yùn)作的呢？

上文也提到，深度神經(jīng)網(wǎng)絡(luò)必須能夠應(yīng)對(duì)各種天氣、道路或光線條件。由于真實(shí)駕駛可能需要很長時(shí)間才能覆蓋所有可能發(fā)生的情況，因此無法通過真實(shí)駕駛來進(jìn)行針對(duì)性的測(cè)試，這個(gè)時(shí)候，我們就需要仿真。

NVIDIA 構(gòu)建了一個(gè)高保真仿真試驗(yàn)場(chǎng)，用于測(cè)試這些罕見的場(chǎng)景，也就是所謂的“邊緣案例”或 “長尾場(chǎng)景”，例如，一只鹿在清晨從車前跑過、從天而降的一棵樹、從卡車上掉下來的雞等等，簡單來說，就是人們希望自動(dòng)駕駛汽車能夠安全應(yīng)對(duì)的各種千奇百怪的情況。

將實(shí)際道路測(cè)試與仿真技術(shù)結(jié)合，是未來部署自動(dòng)駕駛汽車的關(guān)鍵所在。NVIDIA 將通過 DRIVE Sim 實(shí)現(xiàn)這一點(diǎn)。DRIVE Sim 采用物理準(zhǔn)確的高保真仿真技術(shù)，通過安全、可擴(kuò)展且經(jīng)濟(jì)高效的方式，推動(dòng)自動(dòng)駕駛汽車上路。DRIVE Sim 運(yùn)用 RTX、Omniverse 和 AI 等 NVIDIA 的核心技術(shù)，打造基于云的強(qiáng)大計(jì)算平臺(tái)，可以生成一系列尋?；蚝币姷默F(xiàn)實(shí)世界場(chǎng)景，從而滿足自動(dòng)駕駛?cè)骝?yàn)證的需求。除了利用從現(xiàn)實(shí)世界中收集的數(shù)據(jù)，DRIVE Sim 還可以生成預(yù)先標(biāo)記的合成數(shù)據(jù)集，用戶可以繞過整個(gè)預(yù)處理流程，根據(jù)需求定制測(cè)試場(chǎng)景，填補(bǔ)當(dāng)前開發(fā)流程中的空白。

上文介紹了許多關(guān)于仿真的內(nèi)容，以下是兩段視頻，幫助大家了解實(shí)際操作。

持續(xù)開發(fā)造就無限可能

從數(shù)據(jù)采集到仿真的開發(fā)流程并不是線性的，而是一個(gè)持續(xù)的開發(fā)周期。汽車在行駛時(shí)會(huì)不斷收集數(shù)據(jù)，然后這些數(shù)據(jù)會(huì)用于優(yōu)化和訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的新功能，這些功能通過 OTA 無線更新到汽車上，從而真正實(shí)現(xiàn)軟件定義汽車。

軟件定義架構(gòu)將徹底改變客戶體驗(yàn)。從前如果購買一輛車，在駛離 4S 店的那一刻，這輛車便已達(dá)到其技術(shù)巔峰，雖然未來新功能會(huì)不斷推出，但是這些功能都將搭載在該車輛的未來型號(hào)上，而不是所購買的這輛汽車。現(xiàn)在，軟件定義架構(gòu)完全改變了這種局面，客戶在車輛的整個(gè)生命周期內(nèi)，都能享受到最新推出的新技術(shù)、新功能。軟件定義汽車將顛覆汽車行業(yè)，開啟新的商業(yè)模式。

自動(dòng)駕駛汽車開發(fā)—持續(xù)的開發(fā)流

軟件定義與 AI 合力，自動(dòng)駕駛汽車未來可期

通過上文，大家已經(jīng)了解到自動(dòng)駕駛技術(shù)的工作原理及開發(fā)方式，未來 10 年可能會(huì)有什么趨勢(shì)？

軟件定義汽車大勢(shì)所趨

未來將會(huì)推出許多值得關(guān)注的新技術(shù)。具體來說，汽車制造商將在未來幾年開始推出軟件定義汽車。2020 年，梅賽德斯-奔馳宣布將于 2024 年基于 DRIVE Orin 平臺(tái)，生產(chǎn)軟件定義汽車。今年 2 月，捷豹路虎也宣布將于 2025 年推出軟件定義汽車。此外，一些新能源汽車公司已經(jīng)宣布要推出類似的架構(gòu)，越來越多的汽車將會(huì)采用這個(gè)極具突破性的軟件定義架構(gòu)。

同時(shí)，車載計(jì)算也將繼續(xù)發(fā)展。正如前文所述，這些計(jì)算平臺(tái)需要具備可擴(kuò)展性，以便車企能夠?qū)⑵淠壳盎?DRIVE Orin 開發(fā)的軟件，移植到可實(shí)現(xiàn) 2000 TOPS 運(yùn)算的新一代計(jì)算平臺(tái) DRIVE Thor 中，從而繼續(xù)使用這些軟件。

回顧自動(dòng)駕駛汽車的發(fā)展歷程，不禁令人感嘆創(chuàng)新速度的迅猛。令人欣喜的是，在各個(gè)階段中，自動(dòng)駕駛行業(yè)都能夠不斷利用最新的創(chuàng)新成果，其中智能座艙的發(fā)展尤其值得關(guān)注：

AI 座艙魅力無限

車載技術(shù)將變得越來越強(qiáng)大。具體來說，駕駛艙內(nèi)置的輔助功能將實(shí)現(xiàn)智能化。以下圖片展示的是 NVIDIA DRIVE Concierge。DRIVE Concierge 具有獨(dú)特的設(shè)計(jì)，可以充當(dāng)駕駛員和乘客的數(shù)字助手，協(xié)助乘客進(jìn)行預(yù)訂、為乘客推薦當(dāng)?shù)靥厣艽螂娫捄桶l(fā)出提醒。無論是將錢包落在車上，還是外出購物時(shí)忘記在下午 4 點(diǎn)的線上會(huì)議等，DRIVE Concierge 都可以發(fā)出提醒。總而言之，DRIVE Concierge 可為車上的駕駛員和每位乘客提供個(gè)性化服務(wù)。

NVIDIA DRIVE CONCIERGE

DRIVE Concierge 基于 Omniverse Avatar 實(shí)現(xiàn)以上功能。Omniverse Avatar 能將語音 AI、計(jì)算機(jī)視覺、自然語言理解、推薦引擎和仿真技術(shù)相結(jié)合。基于 Omniverse Avatar 創(chuàng)建的虛擬形象，是具有光線追蹤 3D 圖形效果的交互式角色，可視可聽，可就廣泛的主題進(jìn)行交談，并理解自然語言意圖。通過 Omniverse Avatar，人們將能夠與汽車進(jìn)行自然對(duì)話。此前需要通過物理控制或使用觸控屏實(shí)現(xiàn)的許多功能，現(xiàn)在只需下達(dá)語音命令即可完成。

還記得在上篇中，我們提到的電視劇《霹靂游俠》（Knight Rider）中高度人工智能的跑車 KITT 嗎？現(xiàn)在它已經(jīng)從科幻作品照進(jìn)現(xiàn)實(shí)！觀看以下視頻，了解 NVIDIA DRIVE Concierge。

以上就是本次分享的全部內(nèi)容。如欲了解更多自動(dòng)駕駛訓(xùn)練和仿真的內(nèi)容，請(qǐng)查看推薦閱讀。

推薦閱讀

NVIDIA攜手IDC發(fā)布行業(yè)白皮書：現(xiàn)實(shí)+仿真，超大算力賦能自動(dòng)駕駛

一文看懂DRIVE Replicator：合成數(shù)據(jù)生成加速自動(dòng)駕駛汽車的開發(fā)和驗(yàn)證

一文讀懂自動(dòng)駕駛汽車：軟硬結(jié)合 造就未來出行體驗(yàn)（上篇）

點(diǎn)擊“閱讀原文”，了解更多關(guān)于 NVIDIA 自動(dòng)駕駛汽車解決方案的內(nèi)容。

?

即刻掃描下方海報(bào)二維碼，收下這份 GTC22 精選演講合集清單，在NVIDIA on-Demand 上點(diǎn)播觀看主題演講精選、中國精選、元宇宙應(yīng)用領(lǐng)域與全球各行業(yè)及領(lǐng)域的最新成果！