AI 賦能的圖像生成技術(shù)突飛猛進(jìn)，從早期模型會(huì)生成手指過(guò)多的人類圖像，到現(xiàn)在能創(chuàng)造出令人驚嘆的逼真視覺(jué)效果。即使取得了如此飛躍，仍然存在一個(gè)挑戰(zhàn)：實(shí)現(xiàn)創(chuàng)意掌控。

使用文本創(chuàng)建場(chǎng)景變得更容易，不再需要復(fù)雜的描述，模型也改進(jìn)了針對(duì)提示詞的一致性。但僅通過(guò)文字描述構(gòu)圖、拍攝角度、物體擺放這些精細(xì)細(xì)節(jié)已經(jīng)很不容易了，要修改調(diào)整更是難上加難。雖然使用 ControlNet（通過(guò)更好地控制輸出來(lái)增強(qiáng)圖像生成的工具）的高級(jí)工作流提供了解決方案，但其設(shè)置復(fù)雜，限制了更廣泛的使用。

為幫助克服這些挑戰(zhàn)并快速獲取先進(jìn)的 AI 功能，NVIDIA 在年初的 CES 展會(huì)上發(fā)布了面向 RTX PC 的NVIDIA 3D 引導(dǎo)生成式 AI Blueprint。這個(gè)示例工作流包含了全套工具，讓你能從頭開(kāi)始生成完全控制構(gòu)圖的圖像。用戶現(xiàn)在就可以體驗(yàn)這個(gè)全新的 Blueprint。

利用 3D 控制 AI 生成的圖像

NVIDIA 的3D 引導(dǎo)生成式 AI Blueprint可控制圖像生成，它使用 Blender 中的 3D 場(chǎng)景草稿向圖像生成器（Black Forest Labs 的 FLUX.1-dev）提供深度圖，與用戶的提示詞一起生成所需的圖像。

深度圖幫助圖像模型理解物體應(yīng)該如何放置。這項(xiàng)技術(shù)的優(yōu)勢(shì)在于，它不需要高度細(xì)節(jié)化的物體或高質(zhì)量紋理，因?yàn)樗鼈儗⒈晦D(zhuǎn)換為灰度。此外，由于場(chǎng)景是 3D 的，用戶可以輕松移動(dòng)物體并更改相機(jī)角度。

Blueprint 的底層是 ComfyUI，這是一個(gè)功能強(qiáng)大的工具，允許創(chuàng)作者以有趣的方式鏈接生成式 AI 模型。例如，用戶可以通過(guò) ComfyUI Node Editor Blender 插件將 Blender 連接到 ComfyUI。此外，用戶可以使用NVIDIA NIM 微服務(wù)在 GeForce RTX GPU 上部署 FLUX.1-dev 模型并以最佳性能運(yùn)行，充分利用 NVIDIA TensorRT 軟件開(kāi)發(fā)套件以及 FP4 和 FP8 等優(yōu)化的精度格式。3D 引導(dǎo)的生成式 AI Blueprint 需要 NVIDIA GeForce RTX 4080 及以上 GPU。

生成式 AI 工作流的預(yù)構(gòu)建基礎(chǔ)

3D 引導(dǎo)的生成式 AI Blueprint 包括開(kāi)始使用高級(jí)圖像生成工作流所需的一切：Blender、ComfyUI、連接兩者的 Blender 插件、FLUX.1-dev NIM 微服務(wù)以及運(yùn)行該微服務(wù)所需的 ComfyUI 節(jié)點(diǎn)。對(duì)于 AI 藝術(shù)家，還附帶了安裝程序和詳細(xì)的部署說(shuō)明。

該 Blueprint 采用一種結(jié)構(gòu)化的方式來(lái)深入圖像生成，提供了可根據(jù)特定需求量身定制的工作流。這套方案包含了手把手教程、現(xiàn)成素材和開(kāi)箱即用的環(huán)境配置，讓你創(chuàng)作更輕松，效果更驚艷。

對(duì)于 AI 開(kāi)發(fā)者，該 Blueprint 可以作為構(gòu)建類似工作流或擴(kuò)展現(xiàn)有工作流的基礎(chǔ)。它附帶源代碼、示例數(shù)據(jù)、文檔和入門工作示例。

RTX AI 提供支持的實(shí)時(shí)生成

AI Blueprint 在 NVIDIA RTX AI PC 和工作站上運(yùn)行，充分利用了 NVIDIA Blackwell 架構(gòu)的最新性能突破。

3D 引導(dǎo)的生成式 AI Blueprint中包含的 FLUX.1-dev NIM 微服務(wù)經(jīng)過(guò) TensorRT 優(yōu)化，并量化為 FP4 精度以適用于 Blackwell GPU，推理速度比原生 PyTorch FP16 提升了一倍以上。

對(duì)于使用 NVIDIA Ada Lovelace 架構(gòu) GPU 的用戶，F(xiàn)LUX.1-dev NIM 微服務(wù)附帶 FP8 精度，同樣由 TensorRT 加速。這些改進(jìn)使高性能工作流更容易實(shí)現(xiàn)，從而能夠進(jìn)行快速迭代和實(shí)驗(yàn)。量化還有助于減少模型運(yùn)行所需的顯存。使用 FP4 量化時(shí)，模型體積直接比 FP16 小了一半還多。

使用 RTX AI 進(jìn)行定制和創(chuàng)建

目前有 10 個(gè) NIM 微服務(wù)可用于 RTX，支持從圖像和文本生成到語(yǔ)音 AI 和計(jì)算機(jī)視覺(jué)的用例，更多 Blueprint 和服務(wù)即將推出。

AI Blueprint 和 NIM 微服務(wù)現(xiàn)已推出，為準(zhǔn)備在 RTX PC 和工作站上創(chuàng)建、定制和突破生成式 AI 界限的用戶提供了強(qiáng)大的基礎(chǔ)。