AI、虛擬世界和數(shù)字人正在推動(dòng)視覺設(shè)計(jì)進(jìn)入更寬廣的軌道。

在 SIGGRAPH 大會(huì)上，NVIDIA 高管發(fā)表的簡(jiǎn)短的特別演講令人大開眼界，其中不僅描述了推動(dòng)圖形新時(shí)代發(fā)展的力量，還介紹了 NVIDIA 致力于擴(kuò)展新工具并為加速圖形技術(shù)發(fā)展不遺余力。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在為時(shí) 45 分鐘的演講中談到：“元宇宙是互聯(lián)網(wǎng)的再次演進(jìn)，而 AI 和計(jì)算機(jī)圖形技術(shù)的結(jié)合將為元宇宙提供動(dòng)力”。

它將成為互聯(lián)虛擬世界和數(shù)字孿生的樞紐，成為工作和娛樂的心選之地。黃仁勛還表示，數(shù)字人虛擬形象將成為未來廣受歡迎的機(jī)器人形式之一，將為這個(gè)領(lǐng)域注入更多生機(jī)與活力。

通過 45 個(gè)演示和幻燈片，5 位 NVIDIA 演講者發(fā)布了如下公告：

NVIDIA Omniverse Avatar Cloud Engine (ACE)，用于創(chuàng)建虛擬形象的新平臺(tái)。

構(gòu)建 Universal Scene Description (USD) 的計(jì)劃，USD 是元宇宙的語言。

對(duì) NVIDIA Omniverse（用于創(chuàng)建虛擬世界和數(shù)字孿生的計(jì)算平臺(tái)）的主要擴(kuò)展。

利用機(jī)器學(xué)習(xí)為圖形工作流提供強(qiáng)效助力的工具。

他談到，“我們今天發(fā)布的公告進(jìn)一步推動(dòng)了元宇宙的發(fā)展，這是一個(gè)新的計(jì)算平臺(tái)，具有新的編程模型、架構(gòu)和標(biāo)準(zhǔn)。

元宇宙應(yīng)用已應(yīng)運(yùn)而生。

黃仁勛指出，“用戶可以嘗試使用增強(qiáng)現(xiàn)實(shí)的虛擬 3D 產(chǎn)品，電信公司正在創(chuàng)建其無線電網(wǎng)絡(luò)的數(shù)字孿生來優(yōu)化和部署無線電塔[以及]許多公司都在創(chuàng)建倉庫和工廠的數(shù)字孿生以優(yōu)化其布局和物流。”

輸入虛擬形象

元宇宙的世界離不開虛擬助手，我們與虛擬形象的互動(dòng)將像與另一個(gè)人交談一樣自然。他們將在數(shù)字工廠工作，玩在線游戲，并為電子零售商提供客戶服務(wù)。

黃仁勛說，“虛擬形象在 Omniverse 中進(jìn)行設(shè)計(jì)、訓(xùn)練和操作，會(huì)成為廣泛使用的機(jī)器人之一，數(shù)目將增長(zhǎng)至數(shù)十億個(gè)”。

數(shù)字人和虛擬形象需要自然語言處理、計(jì)算機(jī)視覺、復(fù)雜的面部和身體動(dòng)畫等技術(shù)。為了以逼真的方式移動(dòng)和說話，這套復(fù)雜的技術(shù)必須同步到毫秒。

盡管非常艱巨，NVIDIA 仍致力于通過 Omniverse Avatar Cloud Engine 簡(jiǎn)化和加速這項(xiàng)工作。ACE 是基于 NVIDIA 工作構(gòu)建的一系列 AI 模型和服務(wù)集合，涵蓋從對(duì)話式 AI 到 Audio2Face 和 Audio2Emotion 等動(dòng)畫工具的所有內(nèi)容。

虛擬形象需要許多復(fù)雜的功能

NVIDIA 圖形和 AI 總監(jiān) Simon Yuen 表示，“借助 Omniverse ACE，開發(fā)者可以在任何公有云或私有云中，在任何引擎中構(gòu)建、配置和部署其虛擬形象應(yīng)用。我們希望為每個(gè)平臺(tái)構(gòu)建交互式虛擬形象?！?/p>

ACE 將于明年初推出，可在嵌入式系統(tǒng)和所有主要云服務(wù)中運(yùn)行。

Yuen 還展示了新版 Omniverse Audio2Face，這是一種可以直接通過聲音創(chuàng)建面部動(dòng)畫的 AI 模型。

他談到，“我們剛剛添加了更多功能來分析您的情緒，并自動(dòng)將您的情緒傳遞給虛擬形象?！?/p>

未來版本的 Audio2Face 只需一張照片即可創(chuàng)建虛擬形象，自動(dòng)應(yīng)用紋理并生成動(dòng)畫就緒型 3D 網(wǎng)格。它們將對(duì)肌肉運(yùn)動(dòng)進(jìn)行高保真模擬，AI 可以通過觀看視頻來汲取經(jīng)驗(yàn)。生成的頭發(fā)不僅效果逼真，還會(huì)對(duì)虛擬梳理做出預(yù)期的反應(yīng)。

USD 是 3D 互聯(lián)網(wǎng)的基礎(chǔ)

元宇宙的許多超能力都以 USD 為基礎(chǔ)，而 USD 是 3D 互聯(lián)網(wǎng)的基礎(chǔ)。

NVIDIA Omniverse 和模擬技術(shù)副總裁 Rev Lebaredian 表示，元宇宙“需要一種標(biāo)準(zhǔn)的方式來描述 3D 世界中的所有事物”。

將 USD 與 2D 網(wǎng)絡(luò)中的 HTML 比較時(shí)，他補(bǔ)充道，“我們認(rèn)為，Pixar 發(fā)明和開源的 Universal Scene Description 是互聯(lián)網(wǎng)新時(shí)代的標(biāo)準(zhǔn)場(chǎng)景描述”。

Lebaredian 將 NVIDIA 對(duì) USD 的愿景描述為創(chuàng)造比現(xiàn)實(shí)世界中更多機(jī)遇的關(guān)鍵。

他說：“我們的下一個(gè)里程碑旨在使 USD 在實(shí)時(shí)、大規(guī)模虛擬世界和工業(yè)數(shù)字孿生方面發(fā)揮卓越性能?！盢VIDIA 計(jì)劃幫助 USD 為構(gòu)建國(guó)際字符集、地理空間坐標(biāo)以及物聯(lián)網(wǎng)數(shù)據(jù)的實(shí)時(shí)串流提供支持。

NVIDIA 計(jì)劃投資 USD

為進(jìn)一步加速 USD 的采用，NVIDIA 將發(fā)布 USD 兼容性測(cè)試和認(rèn)證套件。它可讓開發(fā)者了解其自定義 USD 組件會(huì)產(chǎn)生預(yù)期結(jié)果。

此外，NVIDIA 還發(fā)布了一組模擬就緒型 USD 素材，專為工業(yè)數(shù)字孿生和 AI 訓(xùn)練工作流而設(shè)計(jì)。他們加入了大量的免費(fèi)線上 USD 資源，包括 USD 就緒型場(chǎng)景、點(diǎn)播教程、文檔和講師指導(dǎo)式課程。

Lebaredian 表示，“我們希望每個(gè)人都能為構(gòu)建和推進(jìn) USD 發(fā)展貢獻(xiàn)一己之力?！?/p>

Omniverse 擴(kuò)展調(diào)色板

對(duì) NVIDIA Omniverse 的主要新版本的公告是特別演講的重要內(nèi)容之一，其下載量已達(dá) 18.4 萬次。

黃仁勛將 Omniverse 稱為“一個(gè) USD 平臺(tái)、是構(gòu)建元宇宙應(yīng)用的工具包，以及運(yùn)行虛擬世界的計(jì)算引擎?！?/p>

其新版本包含多項(xiàng)升級(jí)的核心技術(shù)，并支持與更多熱門工具連接。

這些名為 Omniverse Connector 的鏈路現(xiàn)已面向 Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 等進(jìn)行開發(fā)。連接器現(xiàn)已推出測(cè)試版，適用于 PTC Creo、Visual Components 和 SideFX Houdini。Siemens Xcelerator 現(xiàn)已成為 Omniverse 網(wǎng)絡(luò)的一部分，這些新開發(fā)的加入使隊(duì)伍更加壯大，將攜手迎接更多工業(yè)客戶進(jìn)入數(shù)字孿生時(shí)代。

NVIDIA 專業(yè)圖形副總裁 Steve Parker 表示，“Omniverse 與互聯(lián)網(wǎng)本身一樣，是一個(gè)由網(wǎng)絡(luò)組成的‘網(wǎng)絡(luò)’，可連接各行各業(yè)和各學(xué)科的用戶?！?/p>

NVIDIA Omniverse 新功能

近十幾個(gè)合作伙伴將在 SIGGRAPH 上展示 Omniverse 功能，包括硬件、軟件和云服務(wù)供應(yīng)商，例如 AWS、Adobe、戴爾、Epic 和微軟。六家合作伙伴將就 AI 和虛擬世界等主題舉辦會(huì)議，將由 NVIDIA 提供支持。

加快物理速度，創(chuàng)建動(dòng)物動(dòng)畫

Parker 詳細(xì)介紹了 Omniverse 中的多項(xiàng)技術(shù)升級(jí)，涵蓋了使用材質(zhì)定義語言 (MDL) 模擬物理屬性準(zhǔn)確的材質(zhì)、使用 PhysX 的實(shí)時(shí)物理，以及 RTX（即混合渲染和 AI 系統(tǒng)）等增強(qiáng)功能。

Parker 認(rèn)為，“從邊緣到云端，這些核心技術(shù)支柱都由 NVIDIA 高性能計(jì)算提供支持?！?/p>

例如，PhysX 現(xiàn)在支持軟體和粒子布料仿真，可實(shí)時(shí)為虛擬世界帶來更高的物理精度。并且，NVIDIA 完全開源 MDL，因此可以輕松支持 OpenGL 或 Vulkan 等圖形 API 標(biāo)準(zhǔn)，從而使開發(fā)人員可以更廣泛地使用材料標(biāo)準(zhǔn)。

Omniverse 還將包括 NVIDIA Research 開發(fā)的結(jié)合了 RTX 圖形和 AI 的神經(jīng)圖形功能。例如：

動(dòng)物建模師允許藝術(shù)家可以使用激光點(diǎn)云迭代動(dòng)物的形狀，然后自動(dòng)生成 3D 網(wǎng)格。

GauGAN360 是 NVIDIA GauGAN 的下一代次演進(jìn)，可生成 8K 360 度全景圖并輕松加載到 Omniverse 場(chǎng)景中。

Instant NeRF 根據(jù) 2D 影像創(chuàng)建 3D 對(duì)象和場(chǎng)景。

機(jī)器學(xué)習(xí)框架 NVIDIA Modulus 的 Omniverse Extension 將讓開發(fā)人員使用 AI 將現(xiàn)實(shí)世界物理的模擬速度提高 10 萬倍，因此元宇宙的外觀和感覺就像現(xiàn)實(shí)世界一樣。

此外，Omniverse Machinima 作為 SIGGRAPH 大會(huì)主題的激烈競(jìng)賽主題，競(jìng)技內(nèi)容來源于戰(zhàn)爭(zhēng)附言 (Post Scriptum)”、“Beyond the Wire”和“影子武士 3 (Shadow Warrior 3)”，以及新的 AI 動(dòng)畫工具，如 Audio2Gesture。

Industrial Light & Magic 的演示展示了另一項(xiàng)新功能。Omniverse DeepSearch 利用 AI 幫助團(tuán)隊(duì)直觀地搜索未標(biāo)記資產(chǎn)的大型數(shù)據(jù)庫，即使未在元數(shù)據(jù)中具體列出，也能為術(shù)語提供準(zhǔn)確的結(jié)果。

圖形變得智能

新興元宇宙的重要支柱之一即為神經(jīng)圖形。這是一個(gè)混合學(xué)科，可利用神經(jīng)網(wǎng)絡(luò)模型加速和增強(qiáng)計(jì)算機(jī)圖形。

NVIDIA AI 副總裁 Sanja Fidler 認(rèn)為：“神經(jīng)圖形將 AI 和圖形融合在一起，為打造能夠從數(shù)據(jù)中學(xué)習(xí)的未來圖形管線鋪平了道路。” 她補(bǔ)充道，“最終，神經(jīng)圖形將重新定義用戶創(chuàng)建、模擬和體驗(yàn)虛擬世界的原理?！?/p>

AI 將幫助藝術(shù)家生成創(chuàng)建元宇宙所需的大量 3D 內(nèi)容。例如，他們可以使用神經(jīng)圖形快速捕獲現(xiàn)實(shí)世界中的對(duì)象和行為。

Fidler 介紹了用于實(shí)現(xiàn)這一目的的 NVIDIA 軟件 Instant NeRF，這是一個(gè)利用 2D 圖像創(chuàng)建 3D 對(duì)象或場(chǎng)景的工具。這是 NVIDIA 在 SIGGRAPH 大會(huì)上榮獲的兩項(xiàng)最佳論文獎(jiǎng)之一的主題。

另一篇獲獎(jiǎng)的最佳論文介紹了神經(jīng)圖形，該模型可以預(yù)測(cè)并減少電競(jìng)和 AR/VR 應(yīng)用中的反應(yīng)延遲。包含這兩篇最佳論文在內(nèi)，NVIDIA 研究人員在本周的 SIGGRAPH 大會(huì)上共發(fā)表了 16 篇論文。

神經(jīng)圖形將 AI 融入圖形管線

設(shè)計(jì)師和研究人員可以應(yīng)用神經(jīng)圖形和其他技術(shù)，使用 NVIDIA 在大會(huì)上推出的全新軟件開發(fā)套件來創(chuàng)作自己的競(jìng)獎(jiǎng)作品。

Fidler 介紹了其中一套工具 Kaolin Wisp，只需幾行代碼即可創(chuàng)建神經(jīng)場(chǎng)（即，表示 3D 場(chǎng)景或?qū)ο蟮?AI 模型）。

另外，NVIDIA 還發(fā)布了 NeuralVDB，這是開源標(biāo)準(zhǔn) OpenVDB 的下一代演進(jìn)版本，用于模擬和渲染水、火、煙霧和云，從視覺效果到科學(xué)計(jì)算等各領(lǐng)域均在使用。

NeuralVDB 使用神經(jīng)模型和 GPU 優(yōu)化顯著降低內(nèi)存要求，以便用戶能夠?qū)崟r(shí)與極其復(fù)雜的超大型數(shù)據(jù)集進(jìn)行交互，并更高效地共享這些數(shù)據(jù)集。

黃仁勛認(rèn)為，“AI 是我們這個(gè)時(shí)代強(qiáng)大的技術(shù)力量之一，它將徹底改變計(jì)算機(jī)科學(xué)的各個(gè)領(lǐng)域，包括計(jì)算機(jī)圖形學(xué)，而 NVIDIA RTX 是神經(jīng)圖形學(xué)的引擎。”請(qǐng)?jiān)?SIGGRAPH 活動(dòng)網(wǎng)站觀看完整的 NVIDIA 特別演講，其中還包括實(shí)驗(yàn)、演示文稿和紀(jì)錄片首映的詳細(xì)信息。

審核編輯：湯梓紅