由于世界各地迥異的風土人情，文化偏好與基礎設施建設水平，音視頻業(yè)務在全球化的推廣進程中遇到了諸多困難，這也使得元宇宙在未來的布局中會面臨多種挑戰(zhàn)。為了更好的服務不同地區(qū)的用戶，傳音基于終端平臺做出了一系列針對音視頻、影像、游戲等業(yè)務的優(yōu)化解決方案，提升了用戶在不同場景下的視聽體驗。

本次分享將分為三個部分，第一部分介紹全球用戶在音視頻業(yè)務中的痛點，包括弱網(wǎng)環(huán)境，環(huán)溫差異，文化差異，個性偏好差異等；第二部分主要闡述傳音針對不同用戶所研發(fā)的網(wǎng)絡優(yōu)化，音視頻影像，游戲體驗優(yōu)化等技術。為了提前布局元宇宙，并在AIGC時代迎來新的機遇，傳音針對不同地區(qū)的人群研發(fā)了AI語音，虛擬人等技術；在未來也將在終端平臺搭建異構計算，交互體驗預測等新的技術平臺，這些內(nèi)容將在第三部分詳細介紹。

文/趙玉東

整理/LiveVideoStack

大家好，首先簡單介紹一下傳音，它是面向非洲、東南亞、拉美的手機終端制造商，在十多年間積累了很多全球化經(jīng)驗。今天分享的題目是《建設高性能終端平臺——傳音元宇宙的基礎設施探索》，元宇宙是一個綜合了各種音視頻交互（游戲、體驗等）的全方位框架，在這個場景下，有很多可以展開的內(nèi)容。

接下來做個自我介紹，我叫趙玉東，博士畢業(yè)于倫敦瑪麗女王大學，研究方向主要是音頻相關，包括音樂風格建模等。在傳音，我主要負責游戲端音頻探索、性能優(yōu)化等。

這張圖是Jon Radoff提出的元宇宙構成要素。底層是基礎設施，接下來是人機交互，包括交互體驗和方式等；再往上是去中心化，如邊緣計算、AI代理、區(qū)塊鏈等，其相當于元宇宙的機制；空間計算即如何把元宇宙中的虛擬空間和現(xiàn)實進行映射結合，以獲得沉浸感體驗；傳作者經(jīng)濟和探索發(fā)現(xiàn)關乎元宇宙具體如何運作；最上層是在綜合了視覺、聽覺、觸覺等之后，給用戶帶來最終的沉浸體驗。

本次分享主要分為三部分：1、全球化當中的挑戰(zhàn)與痛點；2、針對挑戰(zhàn)和痛點的終端解決方案；3、未來技術探索。

-01-

挑戰(zhàn)與痛點

上圖是元宇宙相關技術的分類，包括應用場景、算力、算法、通信、交互技術、產(chǎn)權規(guī)則。對應的，每一類別都面臨相應的挑戰(zhàn)，比如算力會有性能瓶頸，算法模擬的真實世界需要考慮人文文化，在通信層面需要應對不同國家地區(qū)的網(wǎng)絡情況等等。

上圖是各國互聯(lián)網(wǎng)用戶在本國家的數(shù)量占比情況?？梢钥吹?，從2005年到2021年，各國的互聯(lián)網(wǎng)用戶有明顯的增長，但例如非洲等地的入網(wǎng)人數(shù)還是比較有限的，這也一定程度反映了各國網(wǎng)絡基礎設施是參差不齊的，同時也會給用戶服務帶來一些問題和挑戰(zhàn)。

此外，在日常生活中，例如在高鐵和地下車庫、商場等環(huán)境中，都會遇到網(wǎng)絡不佳、信號屏蔽的情況，這樣用戶使用網(wǎng)絡時延遲就會變高。

然后是性能瓶頸，在游戲、直播等場景會遇到終端算力問題，面臨全球不同用戶的需求，如何滿足不同機型的使用體驗。

面臨各地不同的氣候環(huán)境，終端體驗的差別也是非常大的。

人文文化有時是被忽略的一點。例如某些小語種、音樂偏好、宗教習慣等可能在設備中不被支持，同樣會影響用戶體驗。

在偏好與習慣上，不同地區(qū)的用戶會對色彩感知、聲音類型和仿生學定制有不用的偏好和習慣差異。

最后就是需要兼顧全球各地對于隱私數(shù)據(jù)安全、法律和社會道德的要求。

-02-

終端解決方案

針對以上的問題，我們提供一些相應的解決方案。

例如針對算力，會提供溫升控制和智能算力分配；在算法層面配備色彩增強引擎；通信層面增加本地化網(wǎng)絡治理策略；交互層面涵蓋小語種語音交互；遵守本地的政策法規(guī)；根據(jù)地區(qū)的應用場景做本地化虛擬形象。

接下來將針對以上六個層面展開來講。

1、本地化網(wǎng)絡治理

首先是弱網(wǎng)優(yōu)化LinkPlus，它是為解決弱網(wǎng)環(huán)境下游戲時延高卡頓、視頻難以加載、網(wǎng)頁打開緩慢、視頻電話卡頓、手機在上網(wǎng)場景中發(fā)熱嚴重等應用問題二設計的網(wǎng)絡優(yōu)化引擎。

LinkPlus分為四個版本，目前還在持續(xù)優(yōu)化。

LinkPlus v1.0基于前端反饋機制+AI預測模型的應用單鏈路分流，保持鏈接不斷的情況下實現(xiàn)網(wǎng)絡智能切換和功耗調(diào)節(jié)；

LinkPlus v2.0基于AI預測模型的多鏈路數(shù)據(jù)補充解決單鏈路數(shù)據(jù)弱網(wǎng)問題；

LinkPlus v3.0使用自學習的AI算法打造符合個人使用習慣的網(wǎng)絡生態(tài)（AI聯(lián)合學習框架）；

LinkPlus v4.0是構建端、云、邊全鏈路網(wǎng)絡解決方案。

這是弱網(wǎng)治理的技術架構圖

前端有三個感知模塊，分別是用戶喜好、網(wǎng)絡環(huán)境和應用反饋的感知。接著，把對應的感知結果傳到LinkPlus智能調(diào)度，以分配不同的網(wǎng)絡。

上圖是LinkPlus功能開啟和關閉情況下在不同弱網(wǎng)環(huán)境中的時延對比數(shù)據(jù)。經(jīng)過實驗對比發(fā)現(xiàn)，LinkPlus可以快速預測網(wǎng)絡變化并尋找切換最優(yōu)網(wǎng)絡。

上圖是一個實際應用場景的示例

一個用戶的前臺app正在進行游戲，后臺運行著其他app，LinkPlus會感知用戶的使用情況，同時判斷當前的網(wǎng)絡狀態(tài)，結合二者把前臺應用分流到狀況較好的網(wǎng)絡，另外網(wǎng)絡QoS處于動態(tài)監(jiān)控，A引擎映射會根據(jù)QoS預測QoE。

2、色彩增強引擎

色彩增強引擎（PQE）通過調(diào)整畫面的清晰度、飽和度、亮度、對比度等參數(shù)優(yōu)化畫面質(zhì)量，用戶可以針對某個特定App使用參數(shù)優(yōu)化視覺體驗。

3、智能算力分配

首先是智能超分算法。GPU渲染低分辨率圖像（720p），通過AI-SR超分算法提升其分辨率并智能恢復細節(jié)（1080p），以減少GPU算量，降低整理功耗。

智能可變渲染是通過AI識別場景關鍵點位置，降低非焦點區(qū)域渲染質(zhì)量，以達到節(jié)約GPU功耗的目的。

智能幀回救系統(tǒng)通過AI算法預測游戲每幀的算量需求，動態(tài)調(diào)整CPU工作頻率，實現(xiàn)幀內(nèi)預測與回救，減少掉幀，平衡游戲功耗。

4、智能溫升控制

智能環(huán)溫預測是通過獲取到的原始特征如主板溫度、CPU溫度、使用率等，進行數(shù)據(jù)預處理，結合分類模型進行環(huán)境溫度的預測，為手機溫升提供策略支持。

在游戲內(nèi)可通過懸浮窗快速開啟溫升控制，在開啟溫控策略的情況下，可以根據(jù)實時使用情況預測到溫度變化，控制發(fā)熱情況，減少限頻卡頓現(xiàn)象。

5、本地化語音交互

我們推出面向新興市場本地小語種的AI語音助手，針對非洲網(wǎng)絡基礎設施特點進行了離線語音交互方案，適配本地口音、場景和領域。

接下來是針對個性化場景的音頻降噪。需要根據(jù)當?shù)氐脑胍魣鼍斑M行數(shù)據(jù)收集，建立數(shù)據(jù)庫，以應對當?shù)貍€性化需求。降噪效果演示：

6、本地化虛擬形象

傳音擁有億量級的深膚色影像大數(shù)據(jù)庫平臺，以及相應的圖像算法、國際標準、定制芯片等。

圖為針對印度市場的虛擬人解決方案，和傳音取得的數(shù)字人系統(tǒng)基礎能力評測證書。

-03-

未來技術探索

未來技術的探索包括算力增強、網(wǎng)絡深度優(yōu)化、VR+內(nèi)容借口、玩法體驗優(yōu)化等。

首先是網(wǎng)絡深度優(yōu)化。在預測機制方面，根據(jù)QoE和QoS映射關系，進行主動和被動探測，通過決策層然后做出相應的策略。

如圖是未來在算力增強方面需要做的一些探索方向。

傳音除了是終端制造商，目前也有移動互聯(lián)的業(yè)務，希望結合人因工程和大數(shù)據(jù)，打造生態(tài)化的應用場景。

最后是希望打造全方位玩法的感知優(yōu)化，包括視覺、聽覺、觸覺和玩法的體驗感知優(yōu)化。