英特爾研究院宣布與Blockade Labs合作發(fā)布LDM3D（Latent Diffusion Model for 3D）模型，這一全新的擴散模型使用生成式AI創(chuàng)建3D視覺內(nèi)容。LDM3D是業(yè)界領(lǐng)先的利用擴散過程（diffusion process）生成深度圖（depth map）的模型，進(jìn)而生成逼真的、沉浸式的360度全景圖。LDM3D有望革新內(nèi)容創(chuàng)作、元宇宙應(yīng)用和數(shù)字體驗，改變包括娛樂、游戲、建筑和設(shè)計在內(nèi)的許多行業(yè)。

“

生成式AI技術(shù)旨在提高和增強人類創(chuàng)造力，并節(jié)省時間。然而，目前的大部分生成式AI模型僅限于生成2D圖像，僅有少數(shù)幾種可根據(jù)文本提示生成3D圖像。在使用幾乎相同數(shù)量參數(shù)的情況下，不同于現(xiàn)存的潛在擴散模型，LDM3D可以根據(jù)用戶給定的文本提示同時生成圖像和深度圖。與深度估計中的標(biāo)準(zhǔn)后處理方法相比，LDM3D能夠為圖像中的每個像素提供更精準(zhǔn)的相對深度，并為開發(fā)者省去了大量用于場景開發(fā)的時間。

--Vasudev Lal

英特爾研究院人工智能和機器學(xué)習(xí)研究專家

”

封閉的生態(tài)系統(tǒng)限制了規(guī)模。英特爾致力于推動AI的真正普及，通過開放的生態(tài)系統(tǒng)讓更多人從這項技術(shù)中受益。計算機視覺領(lǐng)域近年來取得了重大進(jìn)展，特別是在生成式AI方面。然而，當(dāng)今許多先進(jìn)的生成式AI模型只能生成2D圖像。與通常只能根據(jù)文本提示生成2D RGB圖像的現(xiàn)有擴散模型不同，LDM3D可以根據(jù)用戶給定的文本提示同時生成圖像和深度圖。與深度估計（depth estimation）中的標(biāo)準(zhǔn)后處理（post-processing）方法相比，LDM3D在使用與潛在擴散模型Stable Diffusion幾乎相同數(shù)量參數(shù)的情況下，能夠為圖像中的每個像素提供更精準(zhǔn)的相對深度（relative depth）。

這項研究有望改變我們與數(shù)字內(nèi)容的互動方式，基于文本提示為用戶提供全新的體驗。LDM3D生成的圖像和深度圖能夠?qū)⒅T如寧靜的熱帶海灘、摩天大樓、科幻宇宙等文本描述轉(zhuǎn)化為細(xì)致的360度全景圖。LDM3D捕捉深度信息的能力，可以即時增強整體真實感和沉浸感，使各行各業(yè)的創(chuàng)新應(yīng)用成為可能，包括娛樂、游戲、室內(nèi)設(shè)計、房產(chǎn)銷售，以及虛擬博物館與沉浸式VR體驗等。

6月20日，在IEEE/CVF計算機視覺和模式識別會議（CVPR）的3DMV工作坊上，LDM3D模型獲得了“Best Poster Award”。

LDM3D是在LAION-400M數(shù)據(jù)集包含一萬個樣本的子集上訓(xùn)練而成的。LAION-400M是一個大型圖文數(shù)據(jù)集，包含超過4億個圖文對。對訓(xùn)練語料庫進(jìn)行標(biāo)注時，研究團(tuán)隊使用了之前由英特爾研究院開發(fā)的稠密深度估計模型DPT-Large，為圖像中的每個像素提供了高度準(zhǔn)確的相對深度。LAION-400M數(shù)據(jù)集是基于研究用途創(chuàng)建而成的，以便廣大研究人員和其它興趣社群能在更大規(guī)模上測試模型訓(xùn)練。

為了展示LDM3D的潛力，英特爾和Blockade的研究人員開發(fā)了應(yīng)用程序DepthFusion，通過標(biāo)準(zhǔn)的2D RGB圖像和深度圖創(chuàng)建沉浸式、交互式的360度全景體驗。DepthFusion利用了TouchDesigner，一種基于節(jié)點的可視化編程語言，用于實時互動多媒體內(nèi)容，可將文本提示轉(zhuǎn)化為交互式和沉浸式數(shù)字體驗。LDM3D是能生成RGB圖像及其深度圖的單一模型，因此能夠節(jié)省內(nèi)存占用和降低延遲。

備注：

¹ 地址：https://huggingface.co/docs/diffusers/main/en/api/pipelines/stable_diffusion/ldm3d_diffusion

² 地址：

https://arxiv.org/abs/2305.10853