在悉尼舉行的 SIGGRAPH Asia Real-Time Live 活動中，NVIDIA 研究人員展示了集成在交互式紋理繪制工作流中的生成式 AI，以及其如何支持藝術家直接在 3D 物體表面繪制復雜且不重復的紋理。

該原型展示了 AI 如何像藝術家手中的畫筆一樣“揮灑自如”，而不是只能依靠高級用戶的指導才能生成完整的結(jié)果。它通過在交互中添加局部細節(jié)，實現(xiàn)無限的紋理變化和逼真的過渡。

這只是 NVIDIA 研究項目中的一個示例，這些系列項目旨在通過開發(fā)具有實時 AI 推理和直接控制功能的全新迭代工作流，發(fā)揮 AI 的力量來支持創(chuàng)作。在 2023 年 8 月 SIGGRAPH 大會上的 Real-Time Live 活動中，該研究小組還曾展示用于材質(zhì)的生成式 AI。

AI 紋理繪制讓 AI 能夠在交互循環(huán)中進一步發(fā)揮作用。比起生成和迭代正方形平鋪物理渲染（PBR）材質(zhì)，然后將其應用到 UV 映射的 3D 物體上的處理方式，該項目能夠通過交互式繪制來直接控制紋理的位置、比例和方向。而且，3D 繪畫筆觸的每個補丁都是由 AI 實時生成的。

為施展創(chuàng)造力而定制的 AI

對于用于創(chuàng)作的設計工具，對結(jié)果進行直接迭代控制至關重要。將現(xiàn)代基礎圖像 AI 模型集成到繪畫等交互式工作流的挑戰(zhàn)之一，就是 AI 作出的創(chuàng)意不一定符合藝術家意圖。在某些情況下，這會導致在編輯 prompt 時需要十分謹慎，且仍可能出現(xiàn)難以預測的結(jié)果。

圖 1. 使用以巖石紋理為基礎素材的 AI 畫筆，

以不同大小的畫筆添加蜿蜒曲折的路徑

在這個界面中，研究人員沒有選擇使用基于文本的界面來顯示或識別紋理。俗話說“一畫勝千言”，該 AI 畫筆是以目標紋理的示例圖像進行工作的。

靈感圖像是 3D 設計中的一個常見概念。這些圖像通常只能作為參考，必須經(jīng)過大量處理才能用于 3D 場景中。

此次 SIGGRAPH 上的 AI Material 演示展示了如何將不完美的靈感圖像轉(zhuǎn)換為可平鋪的 PBR 材質(zhì)，從而更加輕松地將現(xiàn)實世界中的靈感導入 3D 工作流。在這個新演示中，任何現(xiàn)實世界紋理的靈感圖像都可以轉(zhuǎn)化成 AI 筆刷，支持藝術家在 3D 繪畫中使用。不僅是筆觸的形狀，畫筆的大小和紋理方向都可以被控制。

該原型中的 AI 專門用于確保畫筆包含參照物的各種變化，同時又不過分偏離其特征。這一主干基礎 AI 模型還能在不需要任何過渡參照物的情況下，就能實現(xiàn)不同紋理區(qū)域之間的逼真過渡。例如 AI 可以在原始的草地紋理和巖石路徑之間使用 AI 紋理畫筆進行交互繪制，從而實現(xiàn)逼真的過渡。

圖 2. 通過文本查詢生成的粉色雛菊的畫作

圖 3. 通過文本查詢生成的古老符文紋理的畫作

如果沒有靈感圖像作為畫筆的基礎素材怎么辦？

文本到圖像 AI 可用于生成多個版本，再由使用者自行選擇想要使用的畫筆，并在該交互式循環(huán)中進行直接控制，探索藝術創(chuàng)作的更多可能性。

NVIDIA 技術提供助力

該原型使用了多項 NVIDIA 技術。由于速度是交互式界面以及 Real-Time Live 的要求之一，該原型通過 NVIDIA GPU 中的 Tensor Core 進行加速推理，使每個畫筆印章達到 0.23 - 0.15 秒的推理速度。

該原型作為 NVIDIA Omniverse 擴展程序而進行開發(fā)。Omniverse 是一個由 API 和微服務組成的模塊化開發(fā)平臺，用于構(gòu)建使用 OpenUSD 和 NVIDIA RTX 的應用與服務，使開發(fā)者能夠創(chuàng)建出包含 AI 的復雜 3D 工具。

在該原型中，通過集成 NVIDIA Warp 庫的高效光線投射與高效的動態(tài)紋理支持，AI 可以直接對渲染對象進行快速更新。

該方法的原理是借助用于 3D 深度學習的 NVIDIA Kaolin 庫，從而實現(xiàn)直接在 GPU 上進行高效的離屏光柵化和紋理反向投影。

點擊“閱讀原文”或掃描海報二維碼，鎖定北京時間 1 月 9 日 (星期二) 凌晨 0 點舉行的線上 NVIDIA CES 2024 特別演講。