如今，品牌及其創(chuàng)意機構(gòu)承受著巨大的壓力，從活動關(guān)鍵視效到電商的包裝圖等，他們需要大規(guī)模地創(chuàng)建和提供高質(zhì)量、準確的產(chǎn)品圖片。以受眾為目標的內(nèi)容，如個性化和本地化的視覺變化，增加了制作的復(fù)雜性。

制作成本、緊迫的時間安排、資源和維護品牌形象都是營銷團隊為其受眾創(chuàng)建更多資產(chǎn)和更具針對性的內(nèi)容的重復(fù)阻礙。

例如，意式特濃咖啡制造商即將推出的產(chǎn)品可能想要針對面向廣泛的受眾，從居住在城市的年輕專業(yè)人士到在鄉(xiāng)村享受退休生活的老一代。過去，這需要多個工作流、多個地點、多個團隊和多個審查周期來執(zhí)行，而這往往很難達到，從而限制了營銷團隊可用于定位的可用內(nèi)容。

為了大規(guī)模地生成高質(zhì)量、符合品牌定位的內(nèi)容，創(chuàng)意團隊現(xiàn)在可以利用生成式 AI 工作流。將生成式 AI 集成到用于生成準確的視覺資產(chǎn)和制作內(nèi)容的工具與應(yīng)用中，可以為內(nèi)容供應(yīng)鏈帶來新的可能性和效率。

許多開發(fā)者已經(jīng)在努力將其變?yōu)楝F(xiàn)實。

在本文中，我們將介紹用于精確視覺生成式 AI 的 3D 調(diào)節(jié)（3D Conditioning for Precise Visual Generative AI ）的 NVIDIA Omniverse Blueprint，概述其工作原理及其用途，并了解行業(yè)領(lǐng)先者如何考慮該領(lǐng)域的發(fā)展。

NVIDIA Omniverse Blueprint 是參考工作流，可讓用戶輕松實施和構(gòu)建 3D、仿真和數(shù)字孿生應(yīng)用。

模型調(diào)節(jié)以解鎖生成式 AI，實現(xiàn)可擴展和可控的資產(chǎn)創(chuàng)建

如果無法控制產(chǎn)品的視覺輸入，將生成式 AI 集成到工作流中創(chuàng)建精確品牌形象時可能會出現(xiàn)問題。如果沒有特定的調(diào)節(jié)，特定的幾何體、顏色、徽標和品牌指南被誤解或丟失。

模型調(diào)節(jié)是指為模型提供特定信息或規(guī)則，幫助其根據(jù)期望做出更好的預(yù)測或決策。要調(diào)節(jié) LLM，需要提供基于文本的說明、示例、上下文或之前的對話歷史記錄。對于圖像生成器，可以提供文本或示例圖像。

但這只能為 AI 模型提供有限的控制。這就是為什么需要 3D 調(diào)節(jié)。

通過在 3D 環(huán)境中設(shè)置 Stage，藝術(shù)家能夠?qū)ι傻囊曈X效果的輸出進行出色的創(chuàng)意控制或指導(dǎo)。為終端用戶交互構(gòu)建易于使用的 UI，使非技術(shù)團隊能夠在受控和經(jīng)過調(diào)節(jié)的框架中迭代和創(chuàng)建內(nèi)容，同時保持品牌資產(chǎn)不受 AI 影響。

該 Omniverse Blueprint 采用多模態(tài)方法，結(jié)合了使用 3D 的核心資產(chǎn)和簡單的環(huán)境幾何體，以及 2D 渲染通道，可快速修復(fù)以完成受控場景。用戶可以通過蒙版來保持產(chǎn)品數(shù)字孿生的完整性，還可以通過更改攝像頭角度和縮放 3D 視窗來構(gòu)圖鏡頭。

為精確視覺生成式 AI 構(gòu)建經(jīng) 3D 調(diào)節(jié)的工作流涉及以下幾個關(guān)鍵組件：

品牌核心資產(chǎn)：由藝術(shù)家創(chuàng)建并通常由品牌經(jīng)理和藝術(shù)總監(jiān)批準的最終資產(chǎn)，被視為核心資產(chǎn)。以上面的例子來說，提供一個簡單的咖啡機模型。

簡單、無紋理的 3D 場景：由 3D 藝術(shù)家提供，用于放置核心資產(chǎn)并控制布局和構(gòu)圖。

自定義應(yīng)用程序：使用基于 Kit 106.2 的 Kit App 模板構(gòu)建。

生成式 AI 微服務(wù)和 Kit 擴展程序：為自定義應(yīng)用添加生成式 AI 功能。在這種情況下，擴散模型（例如 Stable Diffusion）負責(zé)修補。

解決方案測試：驗證集成工作流的功能和性能。

對于此工作流，我們專門研究了能夠讓用戶在使用生成 AI 的同時，也充分利用 OpenUSD 進行 3D 應(yīng)用和工作流開發(fā)的微服務(wù)。

Omniverse Blueprint 旨在實現(xiàn)可擴展和可定制。以下是可以在工作流中引入的一些其他組件：

大型多模態(tài)模型（LMM）+ ComfyUI：快速生成式文本轉(zhuǎn)圖像模型，可根據(jù)文本提示合成逼真圖像。

Edify 360 NIM：Shutterstock 提供早期訪問預(yù)覽版，用于生成 360 度高動態(tài)范圍圖像（HDRI）。該模型使用 Shutterstock 的許可創(chuàng)意庫在 NVIDIA Edify 上進行訓(xùn)練。

Edify 3D NIM：Shutterstock 提供的 3D 資產(chǎn)生成服務(wù)，用于場景布置中額外的 3D 對象生成。使用 NVIDIA Edify 和 Shutterstock 許可的創(chuàng)意庫進行訓(xùn)練。

USD Code：一個語言模型，能夠回答OpenUSD知識查詢并生成USD Python代碼。

USD Search：一個AI驅(qū)動的搜索工具，使用文本或圖像輸入來搜索 OpenUSD 數(shù)據(jù)、3D 模型、圖像和資產(chǎn)。

在本工作流指南結(jié)束后，用戶將能夠使用 AI 開發(fā)自己的自定義應(yīng)用，以支持并加速創(chuàng)意和營銷團隊。所有微服務(wù)目前均可在 build.nvidia.com 上預(yù)覽，用戶可以在其中調(diào)用 API 進行評估。

利用 NVIDIA Omniverse Blueprint 構(gòu)建營銷生態(tài)系統(tǒng)

獨立軟件供應(yīng)商（ISV）和生產(chǎn)服務(wù)機構(gòu)的開發(fā)者正在正在構(gòu)建下一代內(nèi)容創(chuàng)作解決方案，這些解決方案融合了可控的生成式 AI，并基于 OpenUSD 構(gòu)建。

例如 Accenture Song 、 GRIP 、 Monks 、 WPP 和 Collective World 正在采用 Omniverse Blueprint 來加速開發(fā)。

開發(fā)可擴展的 AI 解決方案，以創(chuàng)建符合品牌的資產(chǎn)

此藍圖提供了如何構(gòu)建可控的生成式 AI 應(yīng)用的架構(gòu)示例。用戶現(xiàn)在可以充分利用其應(yīng)用：

多模態(tài) AI 生成的最終幀活動資產(chǎn)

為關(guān)鍵視覺快速構(gòu)思概念與創(chuàng)意

批量處理提示輸入，從數(shù)據(jù)庫中預(yù)定義的文本提示生成可能的數(shù)百種視覺輸出

實施該藍圖能夠獲得以下優(yōu)勢：

加快上市時間：可顯著縮短創(chuàng)建高分辨率品牌資產(chǎn)所需的時間，從而加快產(chǎn)品上市速度。

輕松實現(xiàn)本地化：支持即時創(chuàng)建本地化圖像，以幫助品牌滿足不同市場的文化趨勢或要求。

提高生產(chǎn)力：使用 3D 數(shù)據(jù)的易用工具可以降低傳統(tǒng)上與高保真資產(chǎn)創(chuàng)建相關(guān)的技術(shù)技能要求。

開始使用

本文介紹了用于精確視覺生成式 AI 的 3D 調(diào)節(jié)的 NVIDIA Omniverse Blueprint，并展示了如何通過構(gòu)建生成式 AI 應(yīng)用程序來生成符合品牌的視覺資產(chǎn)和內(nèi)容制作。