AI 與圖形學(xué)在神經(jīng)渲染、3D 生成和世界仿真方面的研究突破，正在推動(dòng)機(jī)器人、自動(dòng)駕駛汽車和內(nèi)容創(chuàng)作的發(fā)展。

物理 AI 是現(xiàn)代機(jī)器人、自動(dòng)駕駛汽車和智能空間背后的引擎，它融合了神經(jīng)圖形學(xué)、合成數(shù)據(jù)生成、基于物理的仿真、強(qiáng)化學(xué)習(xí)以及 AI 推理等多種技術(shù)。作為一個(gè)全球性團(tuán)隊(duì)，NVIDIA 研究中心在近 20 年的時(shí)間里，持續(xù)推動(dòng)著如今正走向融合的 AI 與圖形學(xué)領(lǐng)域的發(fā)展。

NVIDIA 研究中心的負(fù)責(zé)人在溫哥華舉行的 SIGGRAPH 上發(fā)表特別演講，重點(diǎn)介紹助力物理 AI 與空間 AI 發(fā)展的圖形學(xué)及仿真創(chuàng)新成果。SIGGRAPH 是全球領(lǐng)先的計(jì)算機(jī)圖形大會(huì)，活動(dòng)將持續(xù)至當(dāng)?shù)貢r(shí)間 8 月 14 日（周四）。

NVIDIA AI 研究副總裁 Sanja Fidler 表示：“AI 正在提升我們的仿真能力，而我們的仿真技術(shù)也在推動(dòng) AI 系統(tǒng)的發(fā)展。這兩個(gè)領(lǐng)域之間存在著真實(shí)且強(qiáng)大的協(xié)同效應(yīng)，這種深度聯(lián)動(dòng)非常罕見?！?/p>

在 SIGGRAPH 大會(huì)上，NVIDIA 發(fā)布多款用于物理 AI 的全新軟件庫，包括用于大規(guī)模場景重建的NVIDIA Omniverse NuRec 3D Gaussian Splatting 庫、用于視覺 AI 的NVIDIA Metropolis平臺(tái)的更新，以及NVIDIA Cosmos和NVIDIA Nemotron推理模型。Cosmos Reason是一款面向物理 AI 的全新推理視覺語言模型，可使機(jī)器人和視覺 AI 智能體利用先驗(yàn)知識(shí)、物理規(guī)律理解和常識(shí)實(shí)現(xiàn)類似人類的推理能力。

這其中很多創(chuàng)新研究都是 NVIDIA 研究中心全球團(tuán)隊(duì)的突破性成果，團(tuán)隊(duì)在本次展會(huì)上發(fā)表了十多篇關(guān)于神經(jīng)渲染、實(shí)時(shí)路徑追蹤、合成數(shù)據(jù)生成和強(qiáng)化學(xué)習(xí)等領(lǐng)域的前沿論文，這些功能將可為下一代物理 AI 工具提供支持。

物理 AI 如何將圖形、AI 和機(jī)器人開發(fā)相結(jié)合

物理 AI 開發(fā)首先要構(gòu)建高保真、符合物理規(guī)律的 3D 環(huán)境。如果沒有這些逼真的虛擬環(huán)境，開發(fā)者就無法在仿真環(huán)境中有效訓(xùn)練人形機(jī)器人等先進(jìn)物理 AI 系統(tǒng)，因其在虛擬訓(xùn)練中學(xué)習(xí)的技能無法有效擴(kuò)展到現(xiàn)實(shí)世界。

想象一下這些場景，一臺(tái)農(nóng)業(yè)機(jī)器人能夠精確施加力道來采摘桃子，而不造成磕傷，或者一個(gè)制造機(jī)器人在毫米級精度要求的設(shè)備上精準(zhǔn)組裝微型電子元件。

NVIDIA 研究副總裁 Ming-Yu Liu 表示：“物理 AI 需要一個(gè)觸感真實(shí)的虛擬環(huán)境，一個(gè)讓機(jī)器人能通過試錯(cuò)安全學(xué)習(xí)的并行宇宙。為構(gòu)建這樣的虛擬世界，我們需要五大核心技術(shù)：實(shí)時(shí)渲染、計(jì)算機(jī)視覺、物理運(yùn)動(dòng)仿真、2D 及 3D 生成式 AI，以及 AI 推理能力。這些正是 NVIDIA 研究中心近二十年來潛心鉆研的領(lǐng)域?！?/p>

NVIDIA 在光線追蹤和實(shí)時(shí)計(jì)算機(jī)圖形領(lǐng)域擁有深厚積淀，從 2006 年創(chuàng)立開始，這些突破性研究在實(shí)現(xiàn)物理 AI 仿真方面發(fā)揮著關(guān)鍵作用。當(dāng)前，大量渲染工作也由 AI 模型完成，這一技術(shù)被被稱為神經(jīng)渲染。

NVIDIA 圖形研究副總裁兼實(shí)時(shí)圖形研究小組負(fù)責(zé)人 Aaron Lefohn 表示：“我們的核心渲染研究推動(dòng)了用于訓(xùn)練高級物理 AI 的逼真虛擬世界的構(gòu)建，同樣 AI 也反過來幫助我們將圖像轉(zhuǎn)化為 3D 世界。我們現(xiàn)在已經(jīng)能夠?qū)⑷魏稳硕伎梢越佑|到的媒體形式，也就是照片和視頻，快速重建為虛擬 3D 環(huán)境。”

神經(jīng)重建和渲染技術(shù)借助 AI，處理從現(xiàn)實(shí)攝像頭或其他傳感器中捕獲的數(shù)據(jù)，來生成逼真的 3D 場景表達(dá)。

這項(xiàng)在正向渲染（將 3D 轉(zhuǎn)換為 2D）和反向渲染（將 2D 轉(zhuǎn)換為 3D）方面的基礎(chǔ)性研究，融合了多年來在物理運(yùn)動(dòng)仿真領(lǐng)域的研究與產(chǎn)品創(chuàng)新，其中包括 Fidler Spatial Intelligence Lab 的成果。該實(shí)驗(yàn)室發(fā)布了視頻位姿引擎 ViPE——這是一款與 Dynamic Vision Lab 及 NVIDIA Isaac 團(tuán)隊(duì)合作開發(fā)的視頻 3D 幾何標(biāo)注流程，能夠根據(jù)業(yè)余錄制內(nèi)容、行車記錄儀內(nèi)容或電影鏡頭，估算攝像頭運(yùn)動(dòng)并生成詳細(xì)的深度圖。

在生成式 AI 領(lǐng)域，Ming-Yu Liu的深度想象研究小組作為 NVIDIA 研究中心的先驅(qū)力量，開創(chuàng)了計(jì)算機(jī)視覺、Transformer 模型和視覺生成式 AI 模型，使物理 AI 系統(tǒng)能夠理解和預(yù)測世界的未來狀態(tài)，例如汽車闖紅燈時(shí)的潛在事故場景或水杯過于接近桌子邊緣時(shí)導(dǎo)致的墜落軌跡。

這些技術(shù)突破為 NVIDIA Cosmos 奠定了基礎(chǔ)，該平臺(tái)于今年早些時(shí)候推出，通過整合世界基礎(chǔ)模型、后訓(xùn)練庫以及加速數(shù)據(jù)處理和工作流來加速物理 AI 的開發(fā)。

NVIDIA 研究中心亮相 SIGGRAPH 大會(huì)

NVIDIA 研究人員在 SIGGRAPH 大會(huì)上展示了在仿真、AI 驅(qū)動(dòng)的渲染和 3D 內(nèi)容生成領(lǐng)域的技術(shù)突破，在創(chuàng)建虛擬世界、機(jī)器人開發(fā)和自動(dòng)駕駛汽車訓(xùn)練方面具有應(yīng)用潛力。

一篇論文討論了從 2D 圖像或視頻中重建具有物理感知的 3D 幾何體的挑戰(zhàn)。雖然許多模型可以根據(jù)視頻片段評估 3D 對象，但生成的 3D 形態(tài)通常缺乏結(jié)構(gòu)穩(wěn)定性。即使其視覺匹配度與真實(shí)物體高度接近，仍可能出現(xiàn)比例輕微失衡或缺少細(xì)節(jié)，從而影響其物理真實(shí)感。

例如，基于 2D 影像構(gòu)建的 3D 椅子模型，在放入物理精度準(zhǔn)確的仿真環(huán)境中時(shí)，可能會(huì)發(fā)生結(jié)構(gòu)坍塌，其根源在于 AI 模型是對 3D 結(jié)構(gòu)進(jìn)行視覺估計(jì)，而非基于真實(shí)測量數(shù)據(jù)。本文提出的方法通過確保生成的 3D 形狀符合真實(shí)物理規(guī)律，來避免出現(xiàn)該問題，并為物理 AI 訓(xùn)練創(chuàng)建虛擬世界提供支持。

右側(cè)：靜止?fàn)顟B(tài)。左側(cè)：仿真狀態(tài)。顏色顯示了仿真幾何結(jié)構(gòu)中的應(yīng)力分布。視頻中出現(xiàn)的抖動(dòng)是由于在優(yōu)化過程的每次迭代中施加了隨機(jī)擾動(dòng)所致。

另一篇論文介紹了一種能夠通過物理精度準(zhǔn)確的動(dòng)作賦予仿真角色真實(shí)動(dòng)態(tài)的技術(shù)。研究人員將運(yùn)動(dòng)生成器與物理驅(qū)動(dòng)的追蹤控制器相結(jié)合，為復(fù)雜的動(dòng)作（例如跑酷者的特技）生成逼真的合成數(shù)據(jù)。

這些數(shù)據(jù)有助于開發(fā)虛擬角色，或訓(xùn)練現(xiàn)實(shí)世界中的人形機(jī)器人掌握靈活的運(yùn)動(dòng)技能——這類技能在現(xiàn)實(shí)訓(xùn)練數(shù)據(jù)中非常罕見。這將拓展機(jī)器人能夠完成的物理行為的范圍，使其能夠執(zhí)行諸如穿越復(fù)雜地形以支持應(yīng)急響應(yīng)等任務(wù)。

其他論文探討了光線和材質(zhì)仿真的復(fù)雜性。

大會(huì)中，通過一個(gè)項(xiàng)目展示了藝術(shù)家如何創(chuàng)建 AI 助手來增強(qiáng)材質(zhì)細(xì)節(jié)。它利用擴(kuò)散模型和基于物理效果的可微分渲染器，使創(chuàng)作者能夠在 3D 模型基礎(chǔ)上便捷修改材質(zhì)紋理貼圖，進(jìn)而僅通過文本提示來創(chuàng)建更豐富、更逼真的虛擬世界。

該團(tuán)隊(duì)展示了如何利用該模型來快速添加逼真的物體細(xì)節(jié)，比如風(fēng)化或老化跡象，而通常來說，使用傳統(tǒng)渲染方法創(chuàng)建此類細(xì)節(jié)非常耗時(shí)。這些物體可批量填充虛擬環(huán)境，服務(wù)于游戲等創(chuàng)意場景，也可用于物理仿真應(yīng)用，例如在仿真器中訓(xùn)練機(jī)器人和自動(dòng)駕駛汽車。

在光照仿真領(lǐng)域，另一篇 SIGGRAPH 論文通過引入一個(gè)穩(wěn)健的可微分可見性查詢機(jī)制，來解決可微分渲染中的挑戰(zhàn)，顯著提升了從影像與視頻數(shù)據(jù)重建 3D 幾何結(jié)構(gòu)的效率與精度。

可微分渲染器能夠基于圖像和視頻重建 3D 場景。NVIDIA 研究人員將可微分渲染器與生成的基礎(chǔ)模型相結(jié)合，來創(chuàng)建 3D 內(nèi)容創(chuàng)作的 AI 助手。

這篇論文展現(xiàn)了 NVIDIA 研究中心的前沿突破：它將正向渲染和反向渲染結(jié)合起來，從虛擬世界中快速提取參數(shù)，這些參數(shù)對于基于合成數(shù)據(jù)集來訓(xùn)練高精度物理 AI 模型至關(guān)重要。