相信今年不少人都中了“虛擬老黃”的障眼法，讓英偉達的Omniverse也迅速被視為元宇宙的開發(fā)平臺之一。在今年舉辦的GTC 21開發(fā)者大會上，英偉達再度為Omniverse公布了一系列新工具和新特性，其中之一就是Omniverse Avatar（化身）。

黃仁勛Omniverse Avatar AI助手 / 英偉達

我們也都明白，英偉達CEO黃仁勛此前以假亂真的形象是花大力氣生成的，在AR/VR中見到的虛擬形象很難有如此精細的建模，更別說根據(jù)自身形象量體裁衣了。而Omniverse Avatar并沒有做到如此高的逼真度，僅僅是一個交互式的AI化身。通過語音識別、自然語言理解、推薦引擎和感知功能等技術(shù)完成智能交互，擺脫以往只聞其聲不見其人或是2D的傳統(tǒng)AI助手。

元宇宙的構(gòu)想很美好，為社交和娛樂生活帶來了無窮的可能性，但我們不可能無時無刻泡在元宇宙中，不然物質(zhì)世界就亂成一鍋粥了。既然無法突破物理桎梏，那么虛擬世界能否找到其他的反饋途徑，解決現(xiàn)實生活中的實際問題呢？Omniverse同樣注意到了這一點。

加速5G部署

5G網(wǎng)絡的部署相當復雜，基站的位置并非隨意選定，而是通過一系列的計算得到的結(jié)果。但在不斷變化的復雜環(huán)境下，還是會有難以覆蓋到的死角，還有不少參數(shù)需要搭建好后才能進行現(xiàn)場測試。那么Omniverse這類數(shù)字孿生構(gòu)建工具，又是如何與5G部署扯上關(guān)系的呢？

在Omniverse中模擬基站信號 / 英偉達

愛立信就在5G網(wǎng)絡部署上嘗試了一種新的方式，通過Omniverse生成物理參數(shù)匹配的數(shù)字孿生城市，實時模擬和具象化波束成型和信號路徑，在英偉達RTX加速的路徑追蹤渲染下，通過不同的顏色光線來確定信號的強弱和數(shù)據(jù)吞吐量等。借助這種新思路，網(wǎng)絡工程師可以調(diào)整基站位置，放置移動的車輛等物體，更是可以借助Omniverse VR在虛擬世界中親身見證，最終確定如何部署和配置基站才能達到最大的覆蓋范圍和最高的性能。

不少人可能會擔心，讓愛立信或者華為這種通信公司對每個城市都做精細建模，工作量是不是太大了？這確實是一個不可忽視的問題，但近期不少消息都證實了未來這種工作會更加輕松。比如韓國首爾就宣布打造城市元宇宙平臺，不僅提供市政服務，也將為真實場景打造虛擬建模。未來網(wǎng)絡部署時可以直接調(diào)用這些數(shù)據(jù)，完成基站測試。

自動駕駛與機器人的AI訓練

大會上，英偉達還為Omniverse公布了另一項工具，Omniverse Replicator（復制器）。Replicator是一個強大的合成數(shù)據(jù)生成引擎，為深度神經(jīng)網(wǎng)絡（DNN）的訓練提供物理模擬的合成數(shù)據(jù)。目前英偉達為該引擎公布了兩項復制器應用，分別用于自動駕駛汽車模擬的Drive Sim和操作機器人模擬的Isaac Sim。

Drive Sim自動駕駛場景模擬 / 英偉達

這兩個復制器可以讓開發(fā)者自己搭建AI模型，填補現(xiàn)實世界的數(shù)據(jù)空缺，得出人類無法獲知的實際結(jié)論。比如在自動駕駛模擬中需要考慮罕見的危險狀況，而這些狀況是無法在現(xiàn)實世界中安全復現(xiàn)的。這種真實數(shù)據(jù)的缺失使得自動駕駛DNN難以解決突發(fā)情況的問題，因為自動駕駛方案商很難對其進行真實的物理模擬。

而Drive Sim復制器充分利用了Omniverse的RTX路徑追蹤渲染，為攝像頭、毫米波雷達或激光雷達生成物理數(shù)據(jù)，甚至還原了真實世界中的效果，比如LED頻閃、動態(tài)模糊、激光雷達光速發(fā)散和多普勒效應等。英偉達也為自己剛發(fā)布DRIVE Hyperion 8自動駕駛工具包應用了這一技術(shù)，在交付之前就利用Drive Sim復制器生成的數(shù)百萬張圖片和擬真數(shù)據(jù)進行了訓練，傳感器安裝好后就可以直接部署DNN，省去了幾個月的開發(fā)時間。

這類問題在AMR自主移動機器人上也相當常見，目前多數(shù)AMR小車都是基于激光雷達的方案，但像叉車這一類的工具中，激光雷達可以檢測到叉車底盤，卻很難檢測到叉具，如此一來機器人只實現(xiàn)了躲避了叉車底盤，卻撞上了叉具。這時就需要用到DNN訓練，讓AMR感知到路徑上的叉車。

Isaac Sim復制器生成的各種叉車 / 英偉達

引入數(shù)個不同的叉車通用場景描述（USD）模型后，Isaac Sim復制器可以為DNN生成描繪叉車的數(shù)據(jù)集，并通過數(shù)據(jù)隨機化，比如改變顏色、材質(zhì)、光線、相對視角等，讓模型對叉車產(chǎn)生通識，最終生成叉車檢測DNN。

小結(jié)

Omniverse之類的數(shù)字孿生技術(shù)可以說是實現(xiàn)元宇宙的第一步，卻也開始應用于現(xiàn)實場景，甚至可能比元宇宙更早一步落地。我們將自己投射進虛擬世界中開展社交與娛樂，再把虛擬世界中所得拿出來完善生產(chǎn)工作，這可能才是元宇宙概念下最終的產(chǎn)品形態(tài)。