隨著 Web 3.0 的發(fā)展，以及 3D 內(nèi)容行業(yè)應(yīng)用與消費需求的日益增長，2D 向 3D 內(nèi)容的升維是大勢所趨。作為游戲、元宇宙以及數(shù)字孿生持續(xù)發(fā)展的基石，3D 內(nèi)容生產(chǎn)力至關(guān)重要。

AIGC（AI Generated Content），基于 AI 技術(shù)進(jìn)行圖文、視頻乃至 3D 模型的泛內(nèi)容生成，正在引發(fā) Web 3.0 時代的技術(shù)浪潮，引領(lǐng)著 3D 內(nèi)容生產(chǎn)方式變革。通過圖片、視頻、點云等多模態(tài)數(shù)據(jù)自動生成 3D 內(nèi)容，快速實現(xiàn)現(xiàn)實場景的數(shù)字化，成為當(dāng)前理論研究和行業(yè)實踐的重大命題。

網(wǎng)易瑤臺是網(wǎng)易伏羲旗下新一代沉浸式活動平臺，致力于用人工智能和科技創(chuàng)新打造數(shù)字空間新模式，對 3D 內(nèi)容生產(chǎn)有著豐富的實踐積累與持續(xù)需求。

在 NVIDIA 2023 春季 GTC 大會的 China AI Day 特別活動，網(wǎng)易伏羲視覺計算負(fù)責(zé)人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺神經(jīng)隱式曲面建模 20 倍加速》專題演講，分享項目過程中的實踐經(jīng)驗與心得。手機微信掃碼或點擊閱讀原文即可直達(dá)注冊頁面。

//

NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺

神經(jīng)隱式曲面建模 20 倍加速

演講嘉賓：

李林橙，網(wǎng)易伏羲視覺計算負(fù)責(zé)人

會議代碼：[SE52360]

演講時間：3 月 22 日 5:00 PM

掃描二維碼直達(dá)注冊頁面

圖1 網(wǎng)易瑤臺和河南文旅廳合作推出“元豫宙”

——河南省黃帝故里3D建模案例

（圖片來源于網(wǎng)易瑤臺）

如何快速、便捷、批量的建模數(shù)字化場景？

當(dāng)前流程通常采用照片輔助人工建模的方式，將線下物體或者原畫制作為 3D 模型，但該方式嚴(yán)重依賴建模師的經(jīng)驗與效率，整體制作周期長且成本高。

以 NeRF 為代表的神經(jīng)渲染技術(shù)為 3D 內(nèi)容生成提供了廣闊想象空間。基于 AIGC-3D 神經(jīng)渲染技術(shù)，讓用戶手機拍攝物體，自動快速數(shù)字化建模，不需要大量人工干預(yù)，能夠應(yīng)用于更廣泛的 3D 內(nèi)容生產(chǎn)。

神經(jīng)渲染 3D 重建技術(shù)存在效率和精度無法兼顧的問題，難以滿足實際應(yīng)用。高質(zhì)量的重建算法需要耗費很長時間，例如 NeRF 結(jié)合隱式曲面的 NeuS 算法可以重建出完整的 3D mesh，但需要 10 小時之久。而快速重建算法則精度較低，例如 NVIDIA instant-ngp 技術(shù)可分鐘級快速合成高質(zhì)量的 2D 視角，但導(dǎo)出的 Mesh 質(zhì)量仍然受限。經(jīng)典的多視角深度圖融合技術(shù)也存在空洞問題。

針對相關(guān)挑戰(zhàn)，網(wǎng)易瑤臺與 NVIDIA 合作，利用 NVIDIA instant-npg 中的 tiny-cuda-nn 技術(shù)，基于 NeRF 和隱式曲面的神經(jīng)渲染重建算法并結(jié)合預(yù)訓(xùn)練 CasMVSNet 的 3D 點云先驗，實現(xiàn)了業(yè)內(nèi)先進(jìn)的快速 3D 場景重建方案：

首先，使用 tiny-cuda-nn 網(wǎng)絡(luò)優(yōu)化，采用多尺度 hash 編碼結(jié)合傅里葉編碼、球諧編碼以及高效 MLP 重構(gòu)隱式曲面SDF網(wǎng)絡(luò)，進(jìn)行層數(shù)與隱層壓縮。相比基準(zhǔn)算法，同 batchsize 設(shè)置下，單次迭代加速 1.98 倍，總耗時降到 25 分鐘左右。其次，使用多尺度與多視角訓(xùn)練策略，包括多尺度圖像監(jiān)督、單步多視角監(jiān)督的訓(xùn)練策略等。最后，改進(jìn)了 SDF 體渲染方法，通過視線與法線夾角來加權(quán) SDF 場，使用預(yù)訓(xùn)練的 CasMVSNet 獲取 3D 點云進(jìn)行幾何先驗監(jiān)督，提升了重建精度，加速了收斂過程。同時，在位姿估計、物體邊框估計、2D 以及 3D 采樣、紋理貼圖等方面進(jìn)行了多項技術(shù)與工程優(yōu)化。

多個物體的多視角圖像通過快速隱式曲面重建方案進(jìn)行自動重建效果如下圖，并可直接導(dǎo)入網(wǎng)易瑤臺元宇宙空間。

在 NVIDIA 2023 春季 GTC 大會的 China AI Day 特別活動，網(wǎng)易伏羲視覺計算負(fù)責(zé)人李林橙將在 3 月 22 日下午 530 帶來《NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺神經(jīng)隱式曲面建模 20 倍加速》專題演講，分享項目過程中的實踐經(jīng)驗與心得。手機微信掃碼或點擊閱讀原文即可直達(dá)演講頁面。

NVIDIA CUDA 技術(shù)助力網(wǎng)易瑤臺

神經(jīng)隱式曲面建模 20 倍加速

會議代碼：[SE52360]

演講時間：3 月 22 日 5:00 PM

演講嘉賓：

李林橙，網(wǎng)易伏羲視覺計算負(fù)責(zé)人

演講概要：

網(wǎng)易瑤臺提供大型的沉浸式會展服務(wù)。在與客戶的溝通中我們了解到，客戶期望將線下物體生成 3D 模型，導(dǎo)入瑤臺，從而降低定制化制作的成本.

2020 年以來神經(jīng)渲染 3D 建模技術(shù)快速發(fā)展，重建精度有了顯著的提升，但耗時卻限制了實際的應(yīng)用。網(wǎng)易瑤臺充分利用了 NVIDIA 的 tiny-cuda-nn 與 CUDA 渲染技術(shù)，對神經(jīng)隱式曲面建模進(jìn)行了 20 多倍加速，實現(xiàn)了高效、高質(zhì)量的 3D mesh 重建。本場演講將分享項目過程中的實踐經(jīng)驗與心得。

掃描二維碼直達(dá)注冊頁面

預(yù)約感興趣的會議和座談

想要預(yù)約以上精彩內(nèi)容？成功注冊 GTC23 后，搜索相關(guān)會議代碼，如下圖所示。例如：搜索 GTC23 專題演講代碼 [SE52360] ，點擊“Add To Schedule”或右上角“五角星”即可將會議添加至日程，大會開始后登錄即可觀看會議。

歡迎加入 GTC23，交流、了解和幫助塑造未來發(fā)展趨勢！點擊即可查看 GTC23 注冊教程！

掃描下方海報二維碼，鎖定 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 GTC 主題演講！北京時間 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中國重播。深度解讀 NVIDIA 加速計算平臺如何推動人工智能、元宇宙、云技術(shù)和可持續(xù)計算的下一波浪潮。加入 GTC23，切勿錯過 AI 的決定性時刻！