說起鋼鐵俠，讓人想起漫威迷們總結的“漫威宇宙規(guī)律”——“土豪靠裝備，窮人靠變異”，盤點鋼鐵俠斯塔克的裝備：從“48 套鋼鐵戰(zhàn)衣”，到鐵打的AI助手“賈維斯”，“星期五”——懂技術懂裝備懂老板，還有他研發(fā)裝備時在空中隨心勾勒，將設計原型旋轉、修改、定稿、拋入制造系統(tǒng)的一系列騷操作，一頓玩兒就把活兒干了錢掙了，這無一不是大多數(shù)理工男的終極夢想。

這個終極夢想，真的就那么遙不可及嗎？

我們今天就來聊聊，土豪背后的技術——XR（VR，AR，MR）技術，看完后，你就知道，未來已被拉近。

簡單科普一下什么是XR，XR 就是VR、AR、MR 的統(tǒng)稱。虛擬現(xiàn)實（Virtual Reality）、增強現(xiàn)實（Augmented Reality）和混合現(xiàn)實（Mixed Reality），正在給我們的生活方式帶來一系列的變化。不遠的未來，你還可以坐在虛擬的會議室跟你虛擬的小伙伴們開一場云上會議，在虛擬的智慧教室上一堂多人互動課程、做一場模擬實驗，甚至進入虛擬世界進行真實的設計、制造，虛擬和真實之間，邊界不再那么明顯。這一切，都得益于XR（VR，AR，MR）技術的應用。

XR技術，究竟依賴哪些核心能力呢？華為云最新發(fā)布的XR云服務，給了我們答案。它提供了五大核心技術和能力，打開未來新視界。

1、 大規(guī)模3D地圖構建能力

3D地圖是數(shù)字孿生世界的基礎。傳統(tǒng)制作3D地圖的成本，是非常高昂的。圖商需要采購價格高昂的測繪車隊，常年雇傭規(guī)模在千人左右的采集團隊，并組織人力對采集來的數(shù)據(jù)進行標注、補缺。隨著AI算法、傳感器的發(fā)展，技術上已能實現(xiàn)自動化程度更高的制圖流程。

華為云XR提供手機拍攝視頻的眾包建圖方案，只要是通過手機拍攝慢速轉動的視頻，或者有重疊區(qū)域的圖片，覆蓋建圖的區(qū)域，傳至云端即可通過算法還原出3D模型。如果將3D模型中的3個點與數(shù)字世界的坐標對齊即可將局部的3D模型補充到數(shù)字世界中，大大降低了制圖成本。

華為云同時支持衛(wèi)星制圖，具備大面積快速覆蓋能力，配合地圖自動生成流水線，大規(guī)模構建3D地圖。

2、 厘米級全場景適應的空間計算

高精度定位技術大體上可以分為三類：基于信號的定位、基于航跡推算的定位、基于環(huán)境特征匹配的定位。

?基于信號的定位：普通的多星（GPS、北斗、伽利略）定位精度大約能做到1-2米。新的RTK（Real - time kinematic，實時動態(tài)）載波相位差分技術，是能夠在野外實時得到厘米級定位精度的測量方法。

但它同時存在一些問題，比如基站布設成本高，易受電磁環(huán)境干擾、易受環(huán)境遮擋、信號多徑效應、4G/5G/WIFI網絡環(huán)境差的影響等等，從而影響定位精度和定位系統(tǒng)的可用性。

?基于航跡推算的定位：IMU是常用的航跡推算系統(tǒng)，優(yōu)勢在于沒有外部依賴，可以提供短時高精度的定位結果，缺點在于在連續(xù)的位置和方向的測量中誤差會不斷累積，導致位置和姿態(tài)的測量結果偏離實際位置，因而無法做長時間的高精度定位。

?基于環(huán)境特征匹配的定位技術：華為云XR能力平臺提供根據(jù)視覺的定位技術，通過定期上傳照片，在云端進行特征點提取、匹配，能夠做到厘米級定位與一度以內定姿（6DOF）。針對光照條件差，弱紋理的夜晚和室內場景，通過AI方式進行增強，實現(xiàn)夜晚也能找到圖像匹配點，室內也能定位的全場景適應的空間定位算法。基于VPS和SLAM的緊耦合算法架構，可逐步實現(xiàn)長時間的室內外導航。

3、 提升效果同時提升數(shù)倍效率的AI渲染算法

3D渲染管線也稱為渲染流水線，可以將其理解為一個流程，就是我們準備一些數(shù)據(jù)，讓GPU對這些數(shù)據(jù)做一些處理，最后得出一張二維圖像，渲染流程主要分為幾個大的階段：數(shù)據(jù)準備階段，頂點處理階段，光柵操作階段，像素著色階段。當前渲染優(yōu)化有兩個方向，一個是渲染畫質好，一個是游戲實時性高。華為通過對渲染管線中算法的深入研究和調試，并通過端云結合的AI算法，對渲染管線進行拆分，達到畫質和實時性的均衡，實現(xiàn)數(shù)倍效率，畫質相對于傳統(tǒng)渲染方式有大幅的提升。

4、十萬發(fā)絲級數(shù)字人渲染

凱文·凱利：

不久的將來，現(xiàn)實世界中的每一個地方和事物 —— 每一條街道、每一個燈柱、每一棟建筑物和每一個房間 —— 都會在鏡像世界中擁有它的全尺寸“數(shù)字孿生兄弟”。

華為在數(shù)字人的生成、建模、渲染階段均有所涉獵，如全自動化90%相似度高精細人體模型生成。傳統(tǒng)的建模通過離線工具制作，費時費力，華為考慮改造建模過程，實現(xiàn)快速復制、自動化生成、快速建模。

渲染過程的開發(fā)，主要是從皮膚、牙齒、眼睛、毛發(fā)等等方面入手。數(shù)字人的表情肢體動作自然驅動和表達，唇音同步延時《100ms，使用者時延無感知 。皮膚是半透的，比較薄的地方有散射的效果，光散射過來會產生折射，加入后會多一些細節(jié);眼睛是晶狀體，有透射效果;頭發(fā)有很多層，每層有不同效果。華為實時高真實度數(shù)字人繪制，實現(xiàn)逼真的發(fā)絲、皮膚、眼睛渲染呈現(xiàn)，10萬級發(fā)絲，fps》30幀，整體主觀打分8分以上。

5、360度VR視頻TWS FOV技術（Tile-Wise-Streaming Field of View）

360度VR視頻領域，華為提出了TWS FOV傳輸技術，可以解決4K硬件解碼能力終端，基于4K碼率觀看8K片源的問題。通過TWS映射方式，從像素點上就可以相對ERP映射，直降40%碼率。通過增加低資源消耗的背景流，解決黑邊問題，加入單幀切換技術，提升轉頭高清體驗。

XR技術的研究和應用，未來將有無限可能。虛擬和真實將相輔相成，實現(xiàn)真實世界與虛擬世界之間的無界溝通和協(xié)作。在不久的將來，人人都可像鋼鐵俠一樣，通過XR技術釋放無窮的創(chuàng)造力和想象力，突破極限，共筑未來。

責任編輯：xj