來源：NVIDIA

空間計算將數(shù)字數(shù)據(jù)與物理世界實時融合，通過增強現(xiàn)實和虛擬現(xiàn)實頭顯或智能眼鏡等設(shè)備、增強混合現(xiàn)實交互。

1空間計算是如何運作的？

空間計算通過將數(shù)字內(nèi)容與物理環(huán)境無縫融合來增強用戶交互。為了實現(xiàn)這一目標(biāo)，它利用了許多先進技術(shù)。

增強現(xiàn)實和混合現(xiàn)實 (AR/MR)

增強現(xiàn)實 (AR) 和混合現(xiàn)實 (MR) 在空間計算中發(fā)揮著關(guān)鍵作用。AR 通過疊加數(shù)字內(nèi)容來增強現(xiàn)實世界環(huán)境，使用戶能夠同時感知兩種現(xiàn)實。同時，MR 更進一步，將物理和數(shù)字領(lǐng)域無縫融合。

邊緣和云計算

邊緣和云計算對于提高空間計算設(shè)備的數(shù)據(jù)處理效率和輸出質(zhì)量是不可或缺的。邊緣和云計算能夠流式傳輸令人驚嘆的視覺效果和極其復(fù)雜的場景，將高質(zhì)量圖形直接傳送到頭顯等本地設(shè)備，實現(xiàn)身臨其境的實時交互。邊緣和云計算還提供復(fù)雜的人工智能任務(wù)所需的計算能力。通過混合渲染，用戶可以將一些任務(wù)分載到云端，同時在本地處理其他任務(wù)，將它們無縫混合到單一應(yīng)用中。這樣可有效管理即時和高要求的過程，確保沉浸且高效的空間計算體驗。

AI 和機器學(xué)習(xí)

借助 AI 和機器學(xué)習(xí)，空間計算設(shè)備能夠通過處理和情境化來自現(xiàn)實世界的傳感器數(shù)據(jù)、來解釋物理世界并與之交互。這些技術(shù)增強了交互性和沉浸感，并構(gòu)成了手部跟蹤等直觀用戶界面的基礎(chǔ)。例如，手部跟蹤允許用戶以自然、無縫的方式與虛擬對象交互，從而改善整體用戶體驗。

生成式 AI 可以根據(jù)文本描述創(chuàng)建 3D 和 4D 模型，這些模型隨后用于增強擴展現(xiàn)實 (XR) 設(shè)備的渲染能力。3D 模型表示靜態(tài)對象，而 4D 模型增加了時間維度，融入了運動、動畫或動態(tài)變化。這豐富了視覺質(zhì)量，使虛擬環(huán)境更加生動和引人入勝。

世界捕獲與渲染

空間計算利用計算機視覺等技術(shù)來創(chuàng)建環(huán)境的交互式 3D 表示。通過分析視覺數(shù)據(jù)，計算機視覺可解釋物理空間的幾何形狀和布局。其他技術(shù)，如高斯?jié)姙R和神經(jīng)輻射場 (NeRF)，可以快速重建 3D 場景以進行可視化和分析。生成式 AI（包括擴散模型）可以將 2D 圖像轉(zhuǎn)換為 3D 動畫，增強數(shù)字內(nèi)容與現(xiàn)實世界的融合。

世界捕獲與渲染技術(shù)的進步促進了數(shù)字孿生的創(chuàng)建，將現(xiàn)實世界的數(shù)據(jù)帶入空間計算設(shè)備，實現(xiàn)身臨其境的體驗。這種數(shù)字內(nèi)容與物理空間的無縫融合支持 XR 環(huán)境中的訓(xùn)練、協(xié)作和內(nèi)容創(chuàng)建方面的應(yīng)用。

2空間計算有哪些優(yōu)勢？

融合現(xiàn)實世界和虛擬世界：這項技術(shù)促進了物理和數(shù)字領(lǐng)域的無縫融合，為用戶提供情境信息以增強他們對這些空間的理解和在其中的互動。

增強協(xié)作：它允許用戶在虛擬環(huán)境中與數(shù)字對象交互并進行協(xié)作，這對于基于團隊的活動和項目尤為有益。

訓(xùn)練和仿真：空間計算可實現(xiàn)在危險或復(fù)雜的環(huán)境中進行安全有效的訓(xùn)練仿真，使其成為醫(yī)學(xué)、制造和建筑等領(lǐng)域的寶貴工具。

集成 AI：通過 AI 支持高級場景理解，空間計算可用于創(chuàng)建沉浸式體驗，將我們物理空間的元素融入其中，以增強虛擬環(huán)境的交互性。

使用熟悉的 2D 范式：空間計算允許用戶在 3D 空間中使用熟悉的 2D 計算范式，如 Web 瀏覽器或其他 2D 窗口。這使得向空間計算的過渡更加直觀和易于接受。

總體而言，這些優(yōu)勢使 XR 環(huán)境更具交互性、沉浸感和協(xié)作性，極大豐富了用戶體驗。

3空間計算使用案例有哪些？

空間計算在各行各業(yè)都有變革性的使用案例，增強了功能和用戶體驗。以下是空間計算的一些實際應(yīng)用示例：

汽車設(shè)計：汽車設(shè)計通過虛擬原型設(shè)計和數(shù)字孿生受益于空間計算。設(shè)計師可以在虛擬應(yīng)用中創(chuàng)建和測試汽車模型，從而加快設(shè)計流程并實現(xiàn)更創(chuàng)新、更高效的設(shè)計。激光雷達技術(shù)的集成可以進一步增強汽車領(lǐng)域的空間計算，提供車輛及其周圍環(huán)境的精確且詳細的 3D 掃描，從而實現(xiàn)更準(zhǔn)確的數(shù)字復(fù)制和仿真。

虛擬展廳定制：在零售業(yè)，空間計算有助于虛擬展廳的創(chuàng)建，購物者可以在其中定制汽車或家具的產(chǎn)品變體，創(chuàng)造逼真的個性化交互購物體驗。

手術(shù)規(guī)劃和培訓(xùn)：空間計算可以連接并整合來自手術(shù)室中各種物聯(lián)網(wǎng)設(shè)備（如醫(yī)療設(shè)備、傳感器和患者監(jiān)護儀）的數(shù)據(jù)。這種整合可以增強情境感知能力，提高手術(shù)團隊成員之間的協(xié)調(diào)性。

游戲：空間計算可提供身臨其境的體驗，讓玩家能以更自然、更直觀的方式與游戲環(huán)境互動，因而徹底改變了游戲。

建筑和產(chǎn)品設(shè)計：空間計算工具可顯著增強數(shù)字環(huán)境中的 3D 模型設(shè)計和優(yōu)化，在 AECO 和產(chǎn)品設(shè)計中尤其有用，可實現(xiàn)快速可視化、迭代和審批。

室內(nèi)導(dǎo)航：空間計算可以顯著增強室內(nèi)導(dǎo)航，特別是在機場、醫(yī)院和購物中心等大型設(shè)施中。通過集成空間技術(shù)，用戶可以接收實時、情境感知且疊加在其物理環(huán)境中的方向指引。例如，醫(yī)院的訪客可以使用空間計算設(shè)備查看前往特定病房或部門的導(dǎo)航指引，虛擬箭頭和標(biāo)記會引導(dǎo)他們穿過復(fù)雜的布局。

物理 AI：空間計算通過創(chuàng)建逼真的虛擬環(huán)境并幫助機器人在物理世界中導(dǎo)航來增強物理人形機器人的訓(xùn)練和功能。機器人可以在虛擬環(huán)境中模擬、學(xué)習(xí)和優(yōu)化任務(wù)，然后再部署到現(xiàn)實世界中。通過利用 XR 遠程操作和數(shù)字孿生等技術(shù)，物理機器人可以在復(fù)雜環(huán)境中高精度地導(dǎo)航和操作。這種方法推動了機器人在制造、物流和醫(yī)療保健等行業(yè)中的應(yīng)用，確保機器人獲得良好的訓(xùn)練且高效。

4空間計算的挑戰(zhàn)

為了實現(xiàn)空間計算的承諾，開發(fā)者需要克服幾個挑戰(zhàn)和實際問題：

高計算能力：空間計算需要大量計算資源來實時處理和渲染復(fù)雜環(huán)境，這對當(dāng)前的設(shè)備內(nèi)硬件可能要求較高。NVIDIA GPU 和邊緣 AI 技術(shù)能夠?qū)崟r處理海量數(shù)據(jù)集，確保高保真模擬和交互。NVIDIA Omniverse 和 CloudXR 等技術(shù)可利用這種計算能力將大量模型的高保真渲染無縫融入空間計算應(yīng)用中，幫助各行業(yè)克服硬件限制。

低延遲：確保低延遲對于提供無縫且響應(yīng)迅速的用戶體驗至關(guān)重要。任何延遲都可能破壞空間計算應(yīng)用的沉浸感和有效性。NVIDIA 通過在廣泛的環(huán)境（包括云服務(wù)提供商 (CSP)、本地基礎(chǔ)設(shè)施和邊緣設(shè)備）中部署其 GPU 來應(yīng)對這一挑戰(zhàn)。這種廣泛部署可確保數(shù)據(jù)處理更接近于用戶，從而最大限度地減少延遲，并提供空間計算應(yīng)用必需的流暢、實時的交互。

AI 集成：集成 AI 以準(zhǔn)確理解并情景化用戶環(huán)境非常具有挑戰(zhàn)性，但有助于創(chuàng)建響應(yīng)迅速且適應(yīng)性強的虛擬空間。NVIDIA 通過 NVIDIA Isaac 和 Metropolis (NIM) 等旨在為空間計算應(yīng)用精簡 AI 集成的平臺來簡化這一過程。這些解決方案提供了針對實時情境理解優(yōu)化的預(yù)構(gòu)建 AI 模型和工具套件，使開發(fā)者能夠輕松創(chuàng)建可適應(yīng)用戶交互和環(huán)境變化的智能系統(tǒng)。

逼真且身臨其境的體驗：創(chuàng)造逼真且身臨其境的體驗需要高級圖形。這涉及復(fù)雜的軟件和硬件能力。NVIDIA 憑借其行業(yè)領(lǐng)先的 RTX GPU 來解決這一問題，這些 GPU 支持實時光線追蹤和 AI 增強的渲染，可生成逼真的視覺效果。結(jié)合 NVIDIA Omniverse 等平臺，開發(fā)者可以利用強大的工具來創(chuàng)建逼真的模擬和交互環(huán)境。這些解決方案確?？臻g計算應(yīng)用在各行業(yè)提供無與倫比的真實感和沉浸感。

5入門指南

詳細了解 NVIDIA XR

了解 NVIDIA 如何利用尖端技術(shù)徹底改變虛擬現(xiàn)實，為沉浸式體驗和下一代應(yīng)用提供支持。

用于 Omniverse 數(shù)字孿生工作流的空間串流

詳細了解如何通過此參考工作流將基于 OpenUSD 的沉浸式 Omniverse 數(shù)字孿生串流到 Apple Vision Pro。

如何構(gòu)建原生 OpenUSD XR 應(yīng)用

在此實戰(zhàn)實驗中了解如何使用 OpenUSD、NVIDIA Omniverse 和 CloudXR 構(gòu)建、定制和串流 XR 應(yīng)用。