在 SIGGRAPH 上推出的全新深度學習框架可用于打造自動駕駛汽車、氣候科學和智慧城市的 AI 就緒型虛擬表示。

NVIDIA 在 SIGGRAPH 上推出了 fVDB，這是一種全新的深度學習框架，用于生成現(xiàn)實世界的 AI 就緒型虛擬表示。

fVDB 基于 OpenVDB 構建而成，OpenVDB 是一個行業(yè)標準庫，用于仿真和渲染稀疏體積數(shù)據，例如水、火、煙和云。

生成式物理 AI（例如現(xiàn)實世界中的自動駕駛汽車和機器人）需要具備“空間智能”，即能夠理解 3D 空間并能在 3D 空間中運作。

捕獲我們周圍世界的宏觀細節(jié)和超微細節(jié)至關重要。不過，將現(xiàn)實轉化為虛擬表示來訓練 AI 非常困難。

現(xiàn)實環(huán)境的原始數(shù)據可以通過多種不同的技術收集，例如神經輻射場（NeRF）和激光雷達。fVDB 能夠將這些數(shù)據轉化為實時渲染、規(guī)模龐大的 AI 就緒型環(huán)境。

依托于十年來在 OpenVDB 標準方面的不斷創(chuàng)新， fVDB 在 SIGGRAPH 上的推出，標志著各行各業(yè)在如何利用現(xiàn)實世界的數(shù)字孿生方面實現(xiàn)了巨大飛躍。

現(xiàn)實規(guī)模的虛擬環(huán)境正在廣泛用于訓練自主智能體。例如，通過無人機捕獲城市規(guī)模的 3D 模型，用于氣候科學和災害防范規(guī)劃。如今，3D 生成式 AI 甚至被用于規(guī)劃城市空間和智慧城市。

fVDB 使各行各業(yè)能夠以前所未有的規(guī)模和分辨率利用空間智能，從而使物理 AI 更加智能。

該框架能夠基于 NanoVDB（GPU 加速的數(shù)據結構，有助于實現(xiàn)高效的 3D 仿真）構建 NVIDIA 加速的 AI 算子。這些算子包括卷積、池化、注意力機制和網格化，它們都是針對高性能 3D 深度學習應用而構建的。

借助 AI 算子，企業(yè)能夠構建復雜的神經網絡以實現(xiàn)空間智能，例如大規(guī)模點云重建和 3D 生成式建模。

fVDB 是 NVIDIA 研究團隊長期努力的成果，已經用于為 NVIDIA Research、NVIDIA DRIVE 和 NVIDIA Omniverse 項目提供支持，這些項目需要大型復雜現(xiàn)實世界空間的高保真模型。

fVDB 的主要優(yōu)勢

更大：空間規(guī)模是以往框架的 4 倍。

更快：速度是以往框架的 3.5 倍。

可互操作：企業(yè)可以充分利用龐大的現(xiàn)實世界數(shù)據集。fVDB 能夠根據 VDB 數(shù)據集打造全尺寸 3D 環(huán)境。支持 AI 且實時渲染，可用于打造具有空間智能的物理 AI。

更強大：能夠運行的算子是以往框架的 10 倍。fVDB 通過結合使用以往需要多個深度學習庫的功能，簡化了流程。

fVDB 很快將以 NVIDIA NIM 推理微服務的形式推出。通過三項微服務，企業(yè)可以將 fVDB 整合到 OpenUSD 工作流中，以便在用于實時 3D 仿真的協(xié)作平臺 NVIDIA Omniverse 中生成 AI 就緒型 OpenUSD 幾何體。這三項微服務是：

fVDB Mesh Generation NIM：生成現(xiàn)實世界的數(shù)字化 3D 環(huán)境。

fVDB NeRF-XL NIM：利用 Omniverse Cloud API 和 OpenUSD 生成大規(guī)模 NeRF。

fVDB Physics Super-Res NIM：執(zhí)行超分辨率技術，以便生成基于 OpenUSD 的高分辨率物理仿真。

在過去的十年中，OpenVDB 作為在視覺效果行業(yè)中廣泛運用的核心技術贏得了多項學術大獎。它的應用領域已從娛樂行業(yè)擴展到工業(yè)和科學，例如工業(yè)設計和機器人開發(fā)。

NVIDIA 一直在不斷增強開源 OpenVDB 庫。四年前，NVIDIA 推出了 NanoVDB，為 OpenVDB 添加了 GPU 支持。這不僅帶來了速度飛升，提升了性能，簡化了開發(fā)，而且開啟了實時仿真和渲染的大門。

兩年前，NVIDIA 推出了 NeuralVDB，它能夠基于 NanoVDB 構建機器學習，將 VDB 體積數(shù)據的內存占用量壓縮多達 100 倍，使創(chuàng)作者、開發(fā)者和研究人員能夠與極其龐大、高度復雜的數(shù)據集進行交互。

fVDB 能夠基于 NanoVDB 構建 AI 算子，以現(xiàn)實規(guī)模解鎖空間智能。歡迎申請參與搶先體驗計劃，提前體驗 fVDB PyTorch 擴展。fVDB 還將作為 OpenVDB GitHub 資源庫的一部分提供。

閱讀技術博客《Building Spatial Intelligence from Real-World 3D Data Using Deep-Learning Framework fVDB》，深入了解 fVDB，也可以觀看 NVIDIA 首席執(zhí)行官黃仁勛在 SIGGRAPH 上的兩場爐邊談話，了解加速計算和生成式 AI 正在如何改變著各行各業(yè)并帶來新的創(chuàng)新和發(fā)展機會。