北京大學(xué)陳寶權(quán)團(tuán)隊(duì)聯(lián)合山東大學(xué)和騰訊AI Lab的研究人員，提出了首個(gè)基于單樣例場(chǎng)景無(wú)需訓(xùn)練便可生成多樣高質(zhì)量三維場(chǎng)景的方法。

多樣高質(zhì)的三維場(chǎng)景生成結(jié)果

論文地址：https://arxiv.org/abs/2304.12670

項(xiàng)目主頁(yè)：http://weiyuli.xyz/Sin3DGen/

引言 使用人工智能輔助內(nèi)容生成（AIGC）在圖像生成領(lǐng)域涌現(xiàn)出大量的工作，從早期的變分自編碼器（VAE），到生成對(duì)抗網(wǎng)絡(luò)（GAN），再到最近大紅大紫的擴(kuò)散模型（Diffusion Model），模型的生成能力飛速提升。以 Stable Diffusion，Midjourney 等為代表的模型在生成具有高真實(shí)感圖像方面取得了前所未有的成果。同時(shí)，在視頻生成領(lǐng)域，最近也涌現(xiàn)出很多優(yōu)秀的工作，如 Runway 公司的生成模型能夠生成充滿想象力的視頻片段。這些應(yīng)用極大降低了內(nèi)容創(chuàng)作門(mén)檻，使得每個(gè)人都可以輕易地將自己天馬行空的想法變?yōu)楝F(xiàn)實(shí)。 但是隨著承載內(nèi)容的媒介越來(lái)越豐富，人們漸漸不滿足于圖文、視頻這些二維的圖形圖像內(nèi)容。隨著交互式電子游戲技術(shù)的不斷發(fā)展，特別是虛擬和增強(qiáng)現(xiàn)實(shí)等應(yīng)用的逐步成熟，人們?cè)絹?lái)越希望能身臨其境地從三維視角與場(chǎng)景和物體進(jìn)行互動(dòng)，這帶來(lái)了對(duì)三維內(nèi)容生成的更大訴求。 如何快速地生成高質(zhì)量且具有精細(xì)幾何結(jié)構(gòu)和高度真實(shí)感外觀的三維內(nèi)容，一直以來(lái)是計(jì)算機(jī)圖形學(xué)社區(qū)研究者們重點(diǎn)探索的問(wèn)題。通過(guò)計(jì)算機(jī)智能地進(jìn)行三維內(nèi)容生成，在實(shí)際生產(chǎn)應(yīng)用中可以輔助游戲、影視制作中重要數(shù)字資產(chǎn)的生產(chǎn)，極大地減少了美術(shù)制作人員的開(kāi)發(fā)時(shí)間，大幅地降低資產(chǎn)獲取成本，并縮短整體的制作周期，也為用戶(hù)帶來(lái)千人千面的個(gè)性化視覺(jué)體驗(yàn)提供了技術(shù)可能。而對(duì)于普通用戶(hù)來(lái)說(shuō)，快速便捷的三維內(nèi)容創(chuàng)作工具的出現(xiàn)，結(jié)合如桌面級(jí)三維打印機(jī)等應(yīng)用，未來(lái)將為普通消費(fèi)者的文娛生活帶來(lái)更加無(wú)限的想象空間。 目前，雖然普通用戶(hù)可以通過(guò)便攜式相機(jī)等設(shè)備輕松地創(chuàng)建圖像和視頻等二維內(nèi)容，甚至可以對(duì)三維場(chǎng)景進(jìn)行建模掃描，但總體來(lái)說(shuō)，高質(zhì)量三維內(nèi)容的創(chuàng)作往往需要有經(jīng)驗(yàn)的專(zhuān)業(yè)人員使用如 3ds Max、Maya、Blender 等軟件手動(dòng)建模和渲染，但這些有很高的學(xué)習(xí)成本和陡峭的成長(zhǎng)曲線。 其中一大主要原因是，三維內(nèi)容的表達(dá)十分復(fù)雜，如幾何模型、紋理貼圖或者角色骨骼動(dòng)畫(huà)等。即使就幾何表達(dá)而言，就可以有點(diǎn)云、體素和網(wǎng)格等多種形式。三維表達(dá)的復(fù)雜性極大地限制了后續(xù)數(shù)據(jù)采集和算法設(shè)計(jì)。 另一方面，三維數(shù)據(jù)天然具有稀缺性，數(shù)據(jù)獲取的成本高昂，往往需要昂貴的設(shè)備和復(fù)雜的采集流程，且難以大量收集某種統(tǒng)一格式的三維數(shù)據(jù)。這使得大多數(shù)數(shù)據(jù)驅(qū)動(dòng)的深度生成模型難有用武之地。 在算法層面，如何將收集到的三維數(shù)據(jù)送入計(jì)算模型，也是難以解決的問(wèn)題。三維數(shù)據(jù)處理的算力開(kāi)銷(xiāo)，要比二維數(shù)據(jù)有著指數(shù)級(jí)的增長(zhǎng)。暴力地將二維生成算法拓展到三維，即使是最先進(jìn)的并行計(jì)算處理器也難以在可接受的時(shí)間內(nèi)進(jìn)行處理。 上述原因?qū)е铝水?dāng)前三維內(nèi)容生成的工作大多只局限于某一特定類(lèi)別或者只能生成較低分辨率的內(nèi)容，難以應(yīng)用于真實(shí)的生產(chǎn)流程中。 為了解決上述問(wèn)題，北京大學(xué)陳寶權(quán)團(tuán)隊(duì)聯(lián)合山東大學(xué)和騰訊 AI Lab 的研究人員，提出了首個(gè)基于單樣例場(chǎng)景無(wú)需訓(xùn)練便可生成多樣高質(zhì)量三維場(chǎng)景的方法。該算法具有如下優(yōu)點(diǎn)： 1，無(wú)需大規(guī)模的同類(lèi)訓(xùn)練數(shù)據(jù)和長(zhǎng)時(shí)間的訓(xùn)練，僅使用單個(gè)樣本便可快速生成高質(zhì)量三維場(chǎng)景； 2，使用了基于神經(jīng)輻射場(chǎng)的 Plenoxels 作為三維表達(dá)，場(chǎng)景具有高真實(shí)感外觀，能渲染出照片般真實(shí)的多視角圖片。生成的場(chǎng)景也完美的保留了樣本中的所有特征，如水面的反光隨視角變化的效果等； 3，支持多種應(yīng)用制作場(chǎng)景，如三維場(chǎng)景的編輯、尺寸重定向、場(chǎng)景結(jié)構(gòu)類(lèi)比和更換場(chǎng)景外觀等。 方法介紹 研究人員提出了一種多尺度的漸進(jìn)式生成框架，如下圖所示。算法核心思想是將樣本場(chǎng)景拆散為多個(gè)塊，通過(guò)引入高斯噪聲，然后以類(lèi)似拼積木的方式將其重新組合成類(lèi)似的新場(chǎng)景。 作者使用坐標(biāo)映射場(chǎng)這種和樣本異構(gòu)的表達(dá)來(lái)表示生成的場(chǎng)景，使得高質(zhì)量的生成變得可行。為了讓算法的優(yōu)化過(guò)程更加魯棒，該研究還提出了一種基于值和坐標(biāo)混合的優(yōu)化方法。同時(shí)，為了解決三維計(jì)算的大量資源消耗問(wèn)題，該研究使用了精確到近似的優(yōu)化策略，使得能在沒(méi)有任何訓(xùn)練的情況下，在分鐘級(jí)的時(shí)間生成高質(zhì)量的新場(chǎng)景。更多的技術(shù)細(xì)節(jié)請(qǐng)參考原始論文。

隨機(jī)場(chǎng)景生成

通過(guò)如左側(cè)框內(nèi)的單個(gè)三維樣本場(chǎng)景，可以快速地生成具有復(fù)雜幾何結(jié)構(gòu)和真實(shí)外觀的新場(chǎng)景。該方法可以處理具有復(fù)雜拓?fù)浣Y(jié)構(gòu)的物體，如仙人掌，拱門(mén)和石凳等，生成的場(chǎng)景完美地保留了樣本場(chǎng)景的精細(xì)幾何和高質(zhì)量外觀。當(dāng)前沒(méi)有任何基于神經(jīng)網(wǎng)絡(luò)的生成模型能做到相似的質(zhì)量和多樣性。 高分辨率大場(chǎng)景生成 該方法能高效地生成極高分辨率的三維內(nèi)容。如上所示，我們可以通過(guò)輸入單個(gè)左上角分辨率為 512 x 512 x 200 的三維 “千里江山圖” 的一部分，生成 1328 x 512 x 200 分辨率的 “萬(wàn)里江山圖”，并渲染出 4096 x 1024 分辨率的二維多視角圖片。 真實(shí)世界無(wú)邊界場(chǎng)景生成

作者在真實(shí)的自然場(chǎng)景上也驗(yàn)證了所提出的生成方法。通過(guò)采用與 NeRF++ 類(lèi)似的處理方法，顯式的將前景和天空等背景分開(kāi)后，單獨(dú)對(duì)前景內(nèi)容進(jìn)行生成，便可在真實(shí)世界的無(wú)邊界場(chǎng)景中生成新場(chǎng)景。 其他應(yīng)用場(chǎng)景場(chǎng)景編輯

使用相同的生成算法框架，通過(guò)加入人為指定限制，可以對(duì)三維場(chǎng)景內(nèi)的物體進(jìn)行刪除，復(fù)制和修改等編輯操作。如圖中所示，可以移除場(chǎng)景中的山并自動(dòng)補(bǔ)全孔洞，復(fù)制生成三座山峰或者使山變得更大。 尺寸重定向

該方法也可以對(duì)三維物體進(jìn)行拉伸或者壓縮的同時(shí)，保持其局部的形狀。圖中綠色框線內(nèi)為原始的樣本場(chǎng)景，將一列三維火車(chē)進(jìn)行拉長(zhǎng)的同時(shí)保持住窗戶(hù)的局部尺寸。 結(jié)構(gòu)類(lèi)比生成

和圖像風(fēng)格遷移類(lèi)似，給定兩個(gè)場(chǎng)景 A 和 B，我們可以創(chuàng)建一個(gè)擁有 A 的外觀和幾何特征，但是結(jié)構(gòu)與 B 相似的新場(chǎng)景。如我們可以參考一座雪山將另一座山變?yōu)槿S雪山。 更換樣本場(chǎng)景

由于該方法對(duì)生成場(chǎng)景采用了異構(gòu)表達(dá)，通過(guò)簡(jiǎn)單地修改其映射的樣本場(chǎng)景，便可生成更加多樣的新場(chǎng)景。如使用同一個(gè)生成場(chǎng)景映射場(chǎng) S，映射不同時(shí)間或季節(jié)的場(chǎng)景，得到了更加豐富的生成結(jié)果。 總結(jié) 這項(xiàng)工作面向三維內(nèi)容生成領(lǐng)域，首次提出了一種基于單樣本的三維自然場(chǎng)景生成模型，嘗試解決當(dāng)前三維生成方法中數(shù)據(jù)需求大、算力開(kāi)銷(xiāo)多、生成質(zhì)量差等問(wèn)題。該工作聚焦于更普遍的、語(yǔ)義信息較弱的自然場(chǎng)景，更多的關(guān)注生成內(nèi)容的多樣性和質(zhì)量。算法主要受傳統(tǒng)計(jì)算機(jī)圖形學(xué)中紋理圖像生成相關(guān)的技術(shù)，結(jié)合近期的神經(jīng)輻射場(chǎng)，能快速地生成高質(zhì)量三維場(chǎng)景，并展示了多種實(shí)際應(yīng)用。 未來(lái)展望 該工作有較強(qiáng)的通用性，不僅能結(jié)合當(dāng)前的神經(jīng)表達(dá)，也適用于傳統(tǒng)的渲染管線幾何表達(dá)，如多邊形網(wǎng)格 (Mesh)。我們?cè)陉P(guān)注大型數(shù)據(jù)和模型的同時(shí)，也應(yīng)該不時(shí)地回顧傳統(tǒng)的圖形學(xué)工具。研究人員相信，不久的未來(lái)，在 3D AIGC 領(lǐng)域，傳統(tǒng)的圖形學(xué)工具結(jié)合高質(zhì)量的神經(jīng)表達(dá)以及強(qiáng)力的生成模型，將會(huì)碰撞出更絢爛的火花，進(jìn)一步推進(jìn)三維內(nèi)容生成的質(zhì)量和速度，解放人們的創(chuàng)造力。 這一研究得到了廣大網(wǎng)友的討論： 有網(wǎng)友表示：（這項(xiàng)研究）對(duì)于游戲開(kāi)發(fā)來(lái)說(shuō)十分棒，只需要建模單個(gè)模型就能生成很多新的版本。

對(duì)于上述觀點(diǎn)，有人表示完全同意，游戲開(kāi)發(fā)者、個(gè)人和小公司可以從這類(lèi)模型中得到幫助。