針對(duì)VR一體機(jī)存在的用戶體驗(yàn)差，系統(tǒng)標(biāo)準(zhǔn)缺乏以及VR內(nèi)容資源貧乏這三個(gè)問題，中國移動(dòng)智慧家庭運(yùn)營中心基礎(chǔ)平臺(tái)研發(fā)團(tuán)隊(duì)通過對(duì)VR中間件的研發(fā)，實(shí)現(xiàn)用戶體驗(yàn)的提升，一體機(jī)系統(tǒng)標(biāo)準(zhǔn)的統(tǒng)一和VR內(nèi)容的豐富。本文對(duì)VR中間件進(jìn)行了詳細(xì)的介紹，主要包括：VR算法和技術(shù)優(yōu)化、能力和應(yīng)用集成、多應(yīng)用引擎系統(tǒng)建設(shè)以及多硬件終端適配四個(gè)方面。

團(tuán)隊(duì)介紹：

「智慧家庭運(yùn)營中心（杭研）終端應(yīng)用產(chǎn)品部基礎(chǔ)平臺(tái)研發(fā)團(tuán)隊(duì)」

致力于以技術(shù)創(chuàng)新全面驅(qū)動(dòng)數(shù)字化未來，賦能家庭領(lǐng)域產(chǎn)業(yè)全面進(jìn)入數(shù)字化時(shí)代，通過開展智慧家庭網(wǎng)絡(luò)型及連接型業(yè)務(wù)的研發(fā)，結(jié)合業(yè)務(wù)實(shí)際開展技術(shù)革新，支撐重大課題研究，致力實(shí)現(xiàn)讓家庭更智慧、讓企業(yè)更智能的美好愿景。

1 VR行業(yè)背景

隨著雙千兆網(wǎng)絡(luò)的商用，VR技術(shù)日趨成熟、終端成本逐漸下降、產(chǎn)業(yè)生態(tài)不斷發(fā)展完善，VR內(nèi)容將成為未來數(shù)字家庭內(nèi)容新形態(tài)。VR用戶市場(chǎng)規(guī)模巨大，中國市場(chǎng)潛在用戶達(dá)2.86億， 據(jù)普華永道估算，截至2030年，VR技術(shù)將為中國經(jīng)濟(jì)帶來約1833億美元收入，增加約682萬就業(yè)。近年VR硬件銷售迅速增長(zhǎng)，2019年VR硬件出貨量為570萬臺(tái)，其中VR一體機(jī)達(dá)280萬臺(tái)，同比增長(zhǎng)1倍多，預(yù)計(jì)2020年可達(dá)710萬臺(tái)。

VR設(shè)備（特別是VR一體機(jī)）作為蓬勃發(fā)展的VR行業(yè)的關(guān)鍵一環(huán)，當(dāng)前還存在以下幾個(gè)重要問題，極大地影響了用戶體驗(yàn)以及整個(gè)行業(yè)在國內(nèi)的發(fā)展進(jìn)程。

1、亟需提升用戶體驗(yàn)，目前國內(nèi)VR企業(yè)沒有自主知識(shí)產(chǎn)權(quán)，只是做個(gè)殼，成本高昂。很多VR一體機(jī)還缺乏設(shè)備管理、語音交互等常用功能，極大地影響了用戶使用體驗(yàn)。

2、缺乏行業(yè)接口標(biāo)準(zhǔn)，目前行業(yè)沒有對(duì)上層應(yīng)用的API接口或底層設(shè)備的接口建立統(tǒng)一標(biāo)準(zhǔn)，市面上大多數(shù)VR一體機(jī)設(shè)備廠商的操作系統(tǒng)都是在安卓操作系統(tǒng)上進(jìn)行適配和優(yōu)化，各個(gè)廠商接口參差不齊，導(dǎo)致互相之間需進(jìn)行大量重復(fù)、冗余的適配工作，間接提升了VR設(shè)備的成本，不利于VR的銷售落地。

3、內(nèi)容資源較為貧乏，當(dāng)前VR應(yīng)用程序必須使用每個(gè)VR設(shè)備系統(tǒng)專有 API，意味著應(yīng)用程序如想在不同的VR 設(shè)備上運(yùn)行，需不停進(jìn)行重新編寫，這極大增加了內(nèi)容應(yīng)用的制作成本，阻礙了VR內(nèi)容生態(tài)的豐富和發(fā)展。同時(shí)，VR硬件設(shè)備上由于缺乏可運(yùn)行的內(nèi)容應(yīng)用，導(dǎo)致設(shè)備落地推廣困難，形成惡性循環(huán)。

2 VR中間件介紹

針對(duì)目前VR一體機(jī)存在的主要問題，VR中間件通過建立統(tǒng)一的系統(tǒng)框架，屏蔽多芯片種類的差異性，推動(dòng)VR一體機(jī)系統(tǒng)標(biāo)準(zhǔn)建設(shè)，加速VR中間件標(biāo)準(zhǔn)化進(jìn)程。主要完成了以下四個(gè)方面的工作：

首先，通過對(duì)安卓系統(tǒng)接口和架構(gòu)的優(yōu)化，建立了一套完整的VR技術(shù)體系，極大改善了用戶使用體驗(yàn)。

其次，通過集成設(shè)備管理Andlink連接、語音交互、定制VR Launcher等多種應(yīng)用能力，豐富系統(tǒng)基礎(chǔ)功能，增加設(shè)備可用性。

另外，通過多應(yīng)用引擎系統(tǒng)向上適配多類型應(yīng)用，降低了內(nèi)容廠商的開發(fā)成本，為用戶提供更豐富的內(nèi)容資源。

最后，通過設(shè)備插件擴(kuò)展層向下適配多芯片方案，減少設(shè)備廠商復(fù)雜、冗余的適配工作，為VR設(shè)備廠商賦能，加速VR落地推廣。

VR中間件的整體框圖請(qǐng)參見圖1，主要包括VR優(yōu)化算法和技術(shù)、能力和功能集成、多應(yīng)用引擎系統(tǒng)、多硬件終端適配這四個(gè)部分。

圖1 VR中間件框圖

（一）VR優(yōu)化算法和技術(shù)

VR中間件在安卓系統(tǒng)上針對(duì)VR做了一些列的優(yōu)化和改進(jìn)，主要包括以下幾點(diǎn)：

1、圖像反畸變

任何圖像經(jīng)過光學(xué)鏡片之后都會(huì)發(fā)生光學(xué)畸變，由于VR一體機(jī)目前主要通過在屏幕上堆疊光學(xué)透鏡達(dá)到立體及近眼顯示的效果，故而會(huì)存在一定的光學(xué)畸變，如圖2所示。

圖2 VR光學(xué)畸變

VR中間件具備對(duì)圖像進(jìn)行反畸變處理的能力，先將整個(gè)現(xiàn)實(shí)的圖像做反畸變變形，然后經(jīng)過光學(xué)鏡片后還原為正常的圖像。采用獨(dú)特的反畸變、色散算法，不會(huì)增加額外渲染負(fù)擔(dān)；將所有光學(xué)參數(shù)配置于云端，具備極強(qiáng)的擴(kuò)展兼容性。

2、低延遲渲染

在用戶使用VR設(shè)備的過程中，在獲得沉浸式體驗(yàn)的同時(shí)，會(huì)對(duì)畫面顯示延遲有較高的敏感性，因此系統(tǒng)須加入低延遲渲染技術(shù)，且主要核心包含以下兩個(gè)內(nèi)容：

（1）Front Buffer Rendering將三緩沖變?yōu)閱尉彌_區(qū)，Display與GPU共享，降低延遲；

（2）Dynamic Time frame Replenishment（DTR），動(dòng)態(tài)時(shí)間幀補(bǔ)償技術(shù)，通過補(bǔ)償算法使渲染幀率保持滿幀，降低渲染延遲，同時(shí)根據(jù)應(yīng)用場(chǎng)景，動(dòng)態(tài)調(diào)整時(shí)間幀調(diào)度，降低系統(tǒng)功耗，給用戶更好的體驗(yàn)；。

3、IMU融合及預(yù)測(cè)技術(shù)

VR畫面渲染方式主要取決于用戶當(dāng)前的頭部姿態(tài)，而用戶的頭部姿態(tài)由IMU傳感器（包含陀螺儀、加速計(jì)、電子羅盤）進(jìn)行標(biāo)定。IMU傳感器中每一種傳感器都各有優(yōu)劣，無法單獨(dú)標(biāo)定用戶頭部姿態(tài)，為此系統(tǒng)須具備穩(wěn)定、準(zhǔn)確的IMU融合算法，以準(zhǔn)確標(biāo)定用戶頭部姿態(tài)。

用戶頭部姿態(tài)滿足一定的約束模型，可以通過用戶頭部姿態(tài)的歷史數(shù)據(jù)對(duì)用戶未來短時(shí)間（20ms左右）的姿態(tài)進(jìn)行預(yù)測(cè)，從而進(jìn)一步降低整個(gè)系統(tǒng)的延遲。

其整個(gè)過程如圖3所示。

圖3 IMU融合及預(yù)測(cè)算法過程

4、2D應(yīng)用VR化技術(shù)

傳統(tǒng)的安卓設(shè)備中存在著大量的內(nèi)容資源（如手機(jī)、電視等平臺(tái)內(nèi)容），如VR操作系統(tǒng)支持該類型的應(yīng)用程序便可充分使用；同時(shí)，為提升用戶體驗(yàn)，需將2D內(nèi)容VR化，即將2D應(yīng)用程序顯示在一個(gè)VR場(chǎng)景中。VR中間件通過在SurfaceFlinger層構(gòu)建渲染引擎，在合成時(shí)改變渲染內(nèi)容，將SurfaceFlinger層中不同Layer映射到三維場(chǎng)景中渲染。

（二）能力和應(yīng)用集成

VR中間件集成了一些能力和應(yīng)用，統(tǒng)一了使用體驗(yàn)，增加設(shè)備的可用性，主要包括以下幾點(diǎn)。

1、Andlink能力：提供Andlink設(shè)備連接管理的能力，提供安全可靠的設(shè)備連接通信能力。支持向上將設(shè)備相關(guān)數(shù)據(jù)發(fā)送到Andlink平臺(tái)，為后續(xù)的豐富場(chǎng)景應(yīng)用提供數(shù)據(jù)支撐;向下將Andlink平臺(tái)數(shù)據(jù)下發(fā)的數(shù)據(jù)發(fā)送給設(shè)備，實(shí)現(xiàn)遠(yuǎn)程管控，為VR設(shè)備、手機(jī)APP等多終端互動(dòng)的各種場(chǎng)景實(shí)現(xiàn)提供技術(shù)基礎(chǔ)，具有億級(jí)設(shè)備的連接、百萬級(jí)并發(fā)處理能力。

2、語音平臺(tái)功能：通過前端聲學(xué)適配和語音平臺(tái)SDK的集成，實(shí)現(xiàn)語音控制。語音平臺(tái)以“語音+內(nèi)容+智能”為切入點(diǎn)，統(tǒng)一語音入口，致力于為家庭、個(gè)人、企業(yè)打造一站式智能語音交互平臺(tái)和技能聚合平臺(tái)，提供世界領(lǐng)先的語音識(shí)別、語音合成、語義理解、技能開放、設(shè)備開放等服務(wù)能力，解決國內(nèi)外企業(yè)獲取語音交互服務(wù)和技能的復(fù)雜過程，讓VR產(chǎn)品快速具備“能聽會(huì)說會(huì)思考”的功能，讓智能語音交互更簡(jiǎn)單、實(shí)用，使VR用戶可隨時(shí)隨地享受全方位的人工智能服務(wù)。

3、定制VR Launcher：以拉動(dòng)雙千兆業(yè)務(wù)發(fā)展為目標(biāo)，中國移動(dòng)定制的VR Launcher統(tǒng)一聚合行業(yè)VR精品內(nèi)容，嵌入中國移動(dòng)開放能力，把控VR內(nèi)容入口，統(tǒng)一用戶體驗(yàn)，助力分省精細(xì)化運(yùn)營。

（三）VR多應(yīng)用引擎系統(tǒng)

VR中間件對(duì)多個(gè)系統(tǒng)的接口和標(biāo)準(zhǔn)進(jìn)行兼容，在安卓系統(tǒng)Library層上針對(duì)各個(gè)廠商系統(tǒng)實(shí)現(xiàn)對(duì)應(yīng)的運(yùn)行時(shí)（Runtime），對(duì)于應(yīng)用來說，有效屏蔽了系統(tǒng)的差異性。

VR應(yīng)用啟動(dòng)時(shí)，會(huì)根據(jù)應(yīng)用運(yùn)行的系統(tǒng)要求自動(dòng)選取對(duì)應(yīng)的運(yùn)行時(shí)（Runtime），可直接適配已有的應(yīng)用，應(yīng)用不需要對(duì)系統(tǒng)進(jìn)行適配。

具體的應(yīng)用和Runtime框圖如圖4所示，

圖4 VR多應(yīng)用引擎系統(tǒng)框圖

VR應(yīng)用多引擎系統(tǒng)改變了之前內(nèi)容廠商發(fā)散式的應(yīng)用適配的方式，VR中間件直接對(duì)相關(guān)系統(tǒng)接口和標(biāo)準(zhǔn)進(jìn)行兼容，極大降低了內(nèi)容廠商開發(fā)應(yīng)用的時(shí)間和人力成本。從而能快速豐富VR的內(nèi)容應(yīng)用內(nèi)容，有利于公司VR業(yè)務(wù)的落地和推廣。

VR多應(yīng)用引擎系統(tǒng)具有以下兩點(diǎn)明顯的優(yōu)勢(shì)：

1、提升了已有內(nèi)容的兼容性：使用VR應(yīng)用多引擎系統(tǒng)，可以實(shí)現(xiàn)對(duì)已適配過的內(nèi)容應(yīng)用的直接移植運(yùn)行，無須再適配，節(jié)約內(nèi)容應(yīng)用適配和測(cè)試工作量，以及多版本維護(hù)等工作。

2、新資源對(duì)接工作量減少：一次開發(fā)，長(zhǎng)久受益。在新設(shè)備的引入工作中，可實(shí)現(xiàn)“僅對(duì)接一次”的工作量，后續(xù)適配該設(shè)備的內(nèi)容，包括未來開發(fā)的，都可以直接使用，后續(xù)工作中，隨著引入的設(shè)備和應(yīng)用越多，整體節(jié)約的工作量越大。

（四）多硬件終端適配

設(shè)備插件擴(kuò)展層向下兼容多種芯片平臺(tái)，屏蔽不同廠家設(shè)備接口的差異，將設(shè)備相關(guān)接口標(biāo)準(zhǔn)化，向上提供統(tǒng)一的接口，做到設(shè)備的快速適配。設(shè)備插件擴(kuò)展層可以實(shí)現(xiàn)VR設(shè)備的快速適配，對(duì)VR芯片方案的一次適配，后續(xù)對(duì)同樣芯片方案的設(shè)備，能夠直接平移，不需要重新適配，減少了開發(fā)工作量，縮減適配周期，能加快業(yè)務(wù)推廣落地。

設(shè)備插件擴(kuò)展層請(qǐng)參考圖5中背景標(biāo)黃部分：

圖5 多硬件終端適配示意圖

3 打造移動(dòng)VR新生態(tài)

VR中間件主要用于引入中國移動(dòng)運(yùn)營體系的VR一體機(jī)設(shè)備，整個(gè)系統(tǒng)具備良好的硬件兼容性，能夠解決當(dāng)前行業(yè)中各家技術(shù)體系不統(tǒng)一的問題，同時(shí)保持了完備的功能及較好的用戶體驗(yàn)，充分滿足用戶的使用需求。

后續(xù)中國移動(dòng)會(huì)憑借運(yùn)營商的優(yōu)勢(shì)，持續(xù)發(fā)揮VR中間件的差異化優(yōu)勢(shì)，借助省公司的落地渠道，發(fā)揮終端分銷作用，積極響應(yīng)市場(chǎng)需求，推進(jìn)VR設(shè)備落地。中國移動(dòng)采用開放的策略，與硬件廠商、平臺(tái)軟件廠商、內(nèi)容廠商等各個(gè)環(huán)節(jié)的合作伙伴建立緊密的技術(shù)和業(yè)務(wù)協(xié)同關(guān)系，深化產(chǎn)業(yè)鏈建設(shè)，形成軟硬件深度結(jié)合的體系，探索開放創(chuàng)新性VR系統(tǒng)的研發(fā)和發(fā)展模式，打造移動(dòng)VR新生態(tài)。
責(zé)任編輯:pj