NVIDIA 將于本年度最重要的計算機(jī)圖形大會 — SIGGRAPH 上發(fā)表約 20 篇研究論文。

NVIDIA 近日發(fā)布了一批尖端 AI 研究。無論是靜態(tài)還是動態(tài)、2D 還是 3D、超寫實(shí)風(fēng)格或是幻想風(fēng)格，開發(fā)者和藝術(shù)家都能借助這些研究成果將其創(chuàng)意變?yōu)楝F(xiàn)實(shí)。

SIGGRAPH 2023 計算機(jī)圖形學(xué)大會將于 8 月 6 日至 10 日在美國洛杉磯舉辦，NVIDIA 將亮相大會并發(fā)表約 20 篇用以推動生成式 AI 和神經(jīng)圖形學(xué)發(fā)展的研究論文，其中包括多項與美國、歐洲及以色列的十幾所大學(xué)的聯(lián)合研究成果。

NVIDIA 將發(fā)布的論文內(nèi)容豐富，涵蓋將文本轉(zhuǎn)換成個性化圖像的生成式 AI 模型、將靜態(tài)圖像轉(zhuǎn)換成 3D 對象的逆向渲染工具、使用 AI 模擬超逼真復(fù)雜 3D 元素的神經(jīng)物理模型以及可用于解鎖全新的實(shí)時、AI 賦能的視覺細(xì)節(jié)生成能力的神經(jīng)渲染模型等。

NVIDIA 研究人員經(jīng)常在 GitHub 上與開發(fā)者分享創(chuàng)新成果，并將這些創(chuàng)新整合到產(chǎn)品中，包括用于構(gòu)建和運(yùn)行元宇宙應(yīng)用的NVIDIA Omniverse平臺，以及最近發(fā)布的用于視覺設(shè)計的自定義生成式 AI 模型“工坊” — NVIDIA Picasso。憑借多年深耕圖形學(xué)領(lǐng)域所積累的研究成果，NVIDIA 能夠?qū)㈦娪凹変秩炯夹g(shù)應(yīng)用于游戲中，例如最近發(fā)布的《賽博朋克 2077》的“光線追蹤：Overdrive 模式”技術(shù)預(yù)覽版，其是全球首款利用全景光線追蹤（也稱為路徑追蹤）3A 游戲大作。

今年將于 SIGGRAPH 大會展示的研究進(jìn)展，將能夠幫助開發(fā)者和企業(yè)快速生成合成數(shù)據(jù)，以豐富用于訓(xùn)練機(jī)器人和自動駕駛汽車的虛擬世界。此外，這些研究還將能夠賦能藝術(shù)、建筑、平面設(shè)計、游戲開發(fā)和電影領(lǐng)域的創(chuàng)作者，提升其用于故事板、預(yù)覽乃至實(shí)際制作的高質(zhì)量視覺效果的生成速度。

為 AI 增添個性化色彩：

自定義文本-圖像轉(zhuǎn)換模型

能夠?qū)⑽谋巨D(zhuǎn)換成圖像的生成式 AI 模型，可為電影、電子游戲和 3D 虛擬世界的概念藝術(shù)或故事板創(chuàng)建帶來強(qiáng)大工具。AI 文本-圖像轉(zhuǎn)換工具可以將“兒童玩具”這樣的提示語轉(zhuǎn)換成近乎無限的視覺效果，創(chuàng)作者可以從中獲得靈感，生成毛絨動物玩偶、積木或拼圖等圖像。

然而，藝術(shù)家們的心中可能已經(jīng)構(gòu)思出了特定的主題。例如，一位玩具品牌的創(chuàng)意總監(jiān)可能正準(zhǔn)備圍繞一款新的泰迪熊玩偶展開廣告宣傳，并希望基于泰迪熊茶會等各種不同的場景實(shí)現(xiàn)玩偶可視化。為提升生成式 AI 模型輸出結(jié)果的細(xì)節(jié)水平，NVIDIA 與特拉維夫大學(xué)的研究人員將于 SIGGRAPH 大會上共同發(fā)表兩篇論文，使用戶能夠提供便于模型快速學(xué)習(xí)的圖像實(shí)例。

其中的一篇論文所介紹的技術(shù)需要利用實(shí)例圖像來實(shí)現(xiàn)自定義輸出，可在單個 NVIDIA A100 Tensor Core GPU 上加速個性化進(jìn)程，將其速度從幾分鐘提升至約 11 秒，與以往的個性化方法相比，速度可提升約 60 倍。

第二篇論文則介紹了一個高度緊湊的模型 — Perfusion 模型。該模型可支持用戶僅需少量概念圖像就可將多個個性化元素（如特定的泰迪熊和茶壺等）組合至 AI 生成的視覺圖像中：

推動 3D 創(chuàng)作：

逆向渲染和角色創(chuàng)作方面的進(jìn)展

在創(chuàng)作者構(gòu)思出虛擬世界的概念藝術(shù)后，下一步就是渲染環(huán)境，并在其中填充 3D 物品和角色。NVIDIA Research 正在發(fā)明可加速這一耗時流程的 AI 技術(shù)，將 2D 圖像和視頻自動轉(zhuǎn)換成 3D 形式，讓創(chuàng)作者可以將其導(dǎo)入圖形應(yīng)用進(jìn)行進(jìn)一步編輯。

第三篇論文是與加州大學(xué)圣地亞哥分校的研究人員共同創(chuàng)作的，該論文中的技術(shù)可根據(jù)一張 2D 肖像畫生成并渲染逼真的 3D 頭像模型。這項重大突破能夠使用 AI 來創(chuàng)建 3D 虛擬形象和召開 3D 視頻會議，它可以在用戶的桌面上實(shí)時運(yùn)行，只需要使用普通的網(wǎng)絡(luò)攝像頭或智能手機(jī)攝像頭就能生成一個寫實(shí)化或風(fēng)格化的 3D 遠(yuǎn)程呈現(xiàn)形象。

第四個項目是與斯坦福大學(xué)一起生成栩栩如生的 3D 角色動作。研究人員創(chuàng)建了一個 AI 系統(tǒng)，可以從現(xiàn)實(shí)世界網(wǎng)球比賽的 2D 視頻錄像中學(xué)習(xí)各種網(wǎng)球技能，并將這些動作應(yīng)用于 3D 角色。模擬網(wǎng)球運(yùn)動員可以準(zhǔn)確地將球打到虛擬球場的目標(biāo)位置，甚至與其他角色進(jìn)行長時間的對攻。

除了網(wǎng)球的測試案例之外，這篇 SIGGRAPH 論文還解決了一個難題：即在不使用昂貴的動作捕捉數(shù)據(jù)的前提下，生成能夠逼真地完成各種技術(shù)動作的 3D 角色。

一“絲”不茍：

運(yùn)用神經(jīng)物理學(xué)實(shí)現(xiàn)逼真的模擬

在生成 3D 角色后，藝術(shù)家們就可以對頭發(fā)等寫實(shí)細(xì)節(jié)進(jìn)行分層，這對動畫師而言是一項復(fù)雜且計算成本相對較高的挑戰(zhàn)。

平均而言，人類有 10 萬根頭發(fā)，每根頭發(fā)都會對人類的運(yùn)動和周圍環(huán)境做出動態(tài)反應(yīng)。過去，創(chuàng)作者會使用物理公式來計算頭發(fā)的運(yùn)動，根據(jù)可用的資源簡化或近似化頭發(fā)的運(yùn)動。這也是大制作電影中虛擬角色的頭發(fā)細(xì)節(jié)會比實(shí)時電子游戲中的虛擬形象更為精細(xì)的原因。

第五篇論文展示了一種可以利用神經(jīng)物理學(xué)來實(shí)現(xiàn)數(shù)萬根頭發(fā)實(shí)時且高清模擬的方式。該項 AI 技術(shù)可訓(xùn)練神經(jīng)網(wǎng)絡(luò)預(yù)測相應(yīng)對象在現(xiàn)實(shí)世界中的運(yùn)動軌跡。

該團(tuán)隊的這種用于精確、全面地模擬頭發(fā)的新穎方式還基于現(xiàn)階段的 GPU 進(jìn)行了針對性優(yōu)化。其性能大幅優(yōu)于目前最先進(jìn)的基于 CPU 的求解器，可將模擬時間從數(shù)天縮短到數(shù)小時，同時還可提高實(shí)時頭發(fā)模擬的質(zhì)量。該技術(shù)最終可實(shí)現(xiàn)符合物理學(xué)的精確、交互式的頭發(fā)形態(tài)。

神經(jīng)渲染為實(shí)時圖形帶來電影級精細(xì)度

在使用動態(tài) 3D 物品和角色填充環(huán)境后，實(shí)時渲染會在該虛擬場景中模擬光線反射時的物理特性。NVIDIA 最近的研究展示了用于紋理、材質(zhì)和體積的 AI 模型如何為電子游戲和數(shù)字孿生實(shí)時提供電影級的逼真視覺效果。

NVIDIA 在二十多年前發(fā)明了可編程著色技術(shù)，使開發(fā)者能夠自定義圖形流程。而在最新的神經(jīng)渲染創(chuàng)新成果中，研究者使用了在 NVIDIA 實(shí)時圖形流程中運(yùn)行的 AI 模型來擴(kuò)展可編程著色代碼。

在第六篇 SIGGRAPH 論文中，NVIDIA 將介紹在不額外占用 GPU 內(nèi)存的前提下，可提供多達(dá) 16 倍紋理細(xì)節(jié)的神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)。神經(jīng)紋理壓縮技術(shù)可大幅提高 3D 場景的真實(shí)性，下圖中，舊格式中的文字是模糊的（中），而神經(jīng)壓縮紋理（右）可捕捉到比舊格式更加清晰的細(xì)節(jié)。

相比以前的紋理格式，神經(jīng)紋理壓縮（右）在不額外占用 GPU 內(nèi)存的前提下可提供多達(dá) 16 倍的紋理細(xì)節(jié)

去年發(fā)布的 NeuralVDB 相關(guān)論文的研究成果現(xiàn)已開放提前訪問，這項 AI 賦能的數(shù)據(jù)壓縮技術(shù)將表現(xiàn)煙、火、云和水等體積數(shù)據(jù)所需的內(nèi)存減少了 100 倍。

NVIDIA 還發(fā)布了關(guān)于神經(jīng)材質(zhì)研究的更多詳情，這項研究出現(xiàn)在前不久的 NVIDIA GTC 主題演講中。這篇論文描述了一種學(xué)習(xí)光如何在逼真的多層材料上反射的 AI 系統(tǒng)，將這些資產(chǎn)的復(fù)雜性簡化成實(shí)時運(yùn)行的小型神經(jīng)網(wǎng)絡(luò)，使著色速度提高了 10 倍。

這個利用神經(jīng)渲染制作的茶壺可體現(xiàn)高逼真度，可精確表現(xiàn)出陶瓷材質(zhì)及其不完美的透明涂層釉、指紋、污點(diǎn)甚至灰塵等。

該神經(jīng)材質(zhì)模型還可學(xué)習(xí)光線如何在逼真的多層次參考材質(zhì)上進(jìn)行反射

探索更多生成式 AI 和圖形學(xué)領(lǐng)域的研究

以上只是部分亮點(diǎn)，您還可以進(jìn)入相關(guān)頁面進(jìn)一步了解 NVIDIA 將于 SIGGRAPH 大會發(fā)布的所有論文。NVIDIA 還將在本屆大會上開展六門課程、四場分會，并進(jìn)行兩場新興技術(shù)演示，涵蓋路徑追蹤、遠(yuǎn)程呈現(xiàn)和用于生成式 AI 的擴(kuò)散模型等內(nèi)容。

NVIDIA Research 在全球范圍內(nèi)擁有數(shù)百名科學(xué)家和工程師，在 AI、計算機(jī)圖形學(xué)、計算機(jī)視覺、自動駕駛汽車、機(jī)器人技術(shù)等領(lǐng)域開展研究。

審核編輯：湯梓紅