01背景&問(wèn)題

① 移動(dòng)系統(tǒng)方面，單就Android而言，超過(guò)24000個(gè)擴(kuò)散系統(tǒng)可用。它們和不同的硬件平臺(tái)高度集成，這樣硬件平臺(tái)集成了大量使用非標(biāo)準(zhǔn)接口的不同硬件設(shè)備，并且使用不標(biāo)準(zhǔn)的接口。不同版本的應(yīng)用軟件運(yùn)行在這些系統(tǒng)上，包括各種版本的Android和IOS，尤其是Android。設(shè)備、硬件和軟件的異構(gòu)讓跨系統(tǒng)的結(jié)合多種設(shè)備變得很難；

②數(shù)據(jù)格式方面，眾多的移動(dòng)設(shè)備會(huì)產(chǎn)生不同數(shù)據(jù)格式的大量數(shù)據(jù)，從各種各樣的傳感器到音頻和視頻設(shè)備，異構(gòu)的數(shù)據(jù)格式給不同系統(tǒng)和設(shè)備之間的資源共享帶來(lái)極大困難；

③ 網(wǎng)絡(luò)性能方面，要能夠在既定網(wǎng)絡(luò)環(huán)境下，實(shí)現(xiàn)高帶寬的數(shù)據(jù)共享并且保證安全和性能；

02設(shè)計(jì)

首先，M2提出以數(shù)據(jù)為中心的共享方式，將移動(dòng)設(shè)備分為client和server，分別在client和server建立可用設(shè)備清單和設(shè)備清單。M2通過(guò)修改移動(dòng)系統(tǒng)的System Service層實(shí)現(xiàn)跨設(shè)備的資源共享，因?yàn)樯蠈討?yīng)用是通過(guò)系統(tǒng)服務(wù)(public API)獲取的數(shù)據(jù)。

另外，M2只需要修改client端和server端部分本地框架，引入用戶級(jí)別的虛擬設(shè)備。下圖是M2的架構(gòu)。以觸摸屏輸入為例：在server端，M2 App運(yùn)行在前臺(tái)，當(dāng)用戶觸摸屏幕，這個(gè)input event就被M2 App捕獲，然后APP將對(duì)這input event標(biāo)準(zhǔn)化并且打包它的細(xì)節(jié)變成M2系統(tǒng)的標(biāo)準(zhǔn)輸入格式；

然后，這個(gè)event就和一些輔助信息轉(zhuǎn)發(fā)到client端的輸入系統(tǒng)；接收之后，client端的input system services會(huì)解包input event然后轉(zhuǎn)換成client平臺(tái)的input format。如果有額外需求（根據(jù)輔助信息），還要做計(jì)算進(jìn)行適配（fused display）。

其次，M2通過(guò)device transformation和transformation plugin框架靈活的使用遠(yuǎn)程設(shè)備。使得現(xiàn)在的App可以透明使用并且組合本地和遠(yuǎn)程的設(shè)備，無(wú)需修改應(yīng)用就可以達(dá)到multi-mobile的功能。一個(gè)device transformation框架包含三部分：①input device abstraction ；② output device abstraction；③ transformation function。表3顯示了這些設(shè)備轉(zhuǎn)換類(lèi)型。

例如，該表第一個(gè)fused用于融合輸入，轉(zhuǎn)換設(shè)備的一種應(yīng)用，fused display將四個(gè)平板結(jié)合成為一個(gè)，按照比例切分為四部分，在不影響游戲體驗(yàn)的情況下，擴(kuò)大了顯示界面。如下圖所示：

又如該表第二個(gè)translated類(lèi)型，使用轉(zhuǎn)換設(shè)備將眼睛移動(dòng)變成觸屏輸入，這對(duì)于殘疾人或者無(wú)法使用手觸的人來(lái)說(shuō)非常實(shí)用。服務(wù)端設(shè)備通過(guò)人臉識(shí)別功能使用相機(jī)追蹤眼睛移動(dòng)，產(chǎn)生的信號(hào)會(huì)轉(zhuǎn)換為觸摸，它將作為輸入數(shù)據(jù)傳輸?shù)娇蛻舳嗽O(shè)備。

最后，M2 中client和server通過(guò)標(biāo)準(zhǔn)網(wǎng)絡(luò)sockets通信，使用wifi或者wifi-direct。對(duì)于控制消息和重要數(shù)據(jù)，M2使用TCP；對(duì)于顯示、音頻、和相機(jī)preview，使用UDP。同時(shí)，M2通過(guò)硬件編碼來(lái)壓縮display和audio的數(shù)據(jù)，保證系統(tǒng)面對(duì)高帶寬傳輸時(shí)的性能表現(xiàn)；M2通過(guò)128-bit AES加密和設(shè)置連接密鑰確保移動(dòng)設(shè)備連接的安全；M2系統(tǒng)中，服務(wù)端設(shè)備除發(fā)送時(shí)外不承擔(dān)其他功能 類(lèi)似于靜默的 外部設(shè)備 服務(wù)端和客戶端可以隨時(shí)斷開(kāi)連接隨時(shí)重新連接，M2在client端會(huì)維持所有App的狀態(tài)信息，根據(jù)傳輸?shù)脑O(shè)備數(shù)據(jù)調(diào)整傳輸策略。App的狀態(tài)完全在client端，網(wǎng)絡(luò)的斷連不會(huì)導(dǎo)致App崩潰。

03實(shí)驗(yàn)結(jié)果

M2運(yùn)行在五種不同 SoC(Nexus 4 5 7 9, iPad mini以及iPhone 6S) 和九種不同版本的 Android 和 iOS 的異構(gòu)智能手機(jī)和平板電腦配置上，包括 Android 版本 Jelly Bean (4.3)、KitKat (4.4)、Lollipop (5.0)、Marshmallow (6.0.x)， 和Nougat（7.1.1）。主要有以下三方面性能指標(biāo)：

① 顯示性能

論文采用 Android PassMark 基準(zhǔn)測(cè)試，這是一組資源密集型測(cè)試，用于評(píng)估 CPU、內(nèi)存、I/O 和圖形性能。圖 3 顯示了根據(jù) Android Lollipop 性能標(biāo)準(zhǔn)化的 PassMark 基準(zhǔn)測(cè)量結(jié)果；越低越好。隨著遠(yuǎn)程顯示設(shè)備數(shù)量的增加，M2 會(huì)產(chǎn)生一些額外的開(kāi)銷(xiāo)，但這種開(kāi)銷(xiāo)并不大，并且在某些測(cè)試中與使用的設(shè)備數(shù)量無(wú)關(guān)。圖 4 顯示了運(yùn)行 PassMark 測(cè)試時(shí)所需的每臺(tái)設(shè)備平均網(wǎng)絡(luò)帶寬，匯總到最小圖形 CPU、磁盤(pán)和內(nèi)存測(cè)試、2D 測(cè)試、3D 簡(jiǎn)單測(cè)試和 3D 復(fù)雜測(cè)試中。運(yùn)行基準(zhǔn)測(cè)試的客戶端所需的網(wǎng)絡(luò)帶寬是顯示的帶寬乘以遠(yuǎn)程設(shè)備的數(shù)量，因?yàn)樗鼘@示數(shù)據(jù)發(fā)送到每個(gè)遠(yuǎn)程設(shè)備。

② 拍照延遲

捕獲時(shí)間表明，與使用本地?cái)z像機(jī)相比，M2 產(chǎn)生的額外延遲可以忽略不計(jì)。遠(yuǎn)程攝像機(jī)場(chǎng)景的總時(shí)間要高得多，因?yàn)橥ㄟ^(guò)網(wǎng)絡(luò)將圖片傳輸?shù)娇蛻舳藨?yīng)用程序的默認(rèn)本地存儲(chǔ)需要時(shí)間。在 N7 使用 N4 遠(yuǎn)程攝像頭的最壞情況下，由于傳輸時(shí)間的原因，總時(shí)間比捕獲時(shí)間多近一秒。圖 5 還顯示了拍攝照片的帶寬要求，包括相機(jī)預(yù)覽和從遠(yuǎn)程相機(jī)拍攝的照片到本地存儲(chǔ)的傳輸中。相機(jī)預(yù)覽的分辨率低于原始顯示分辨率，因此其帶寬要求低于 3Mbps。

③ 音頻延遲

論文使用音頻基準(zhǔn) Zoiper 測(cè)量音頻和麥克風(fēng)延遲。圖 6 顯示了音頻延遲。對(duì)于大多數(shù)測(cè)試，與普通 Android 相比，M2 增加的延遲可以忽略不計(jì)，即使使用遠(yuǎn)程麥克風(fēng)和揚(yáng)聲器也是如此。M2 產(chǎn)生更高性能開(kāi)銷(xiāo)的一種情況是，當(dāng)使用遠(yuǎn)程揚(yáng)聲器和麥克風(fēng)以 44.1 KHz 的采樣率和 81.3 毫秒的 Zoiper 緩沖區(qū)大小設(shè)置運(yùn)行基準(zhǔn)測(cè)試時(shí)，導(dǎo)致大約 100 毫秒的額外延遲和近 20% 高架。

04結(jié)論

首先，M2引入了一種新的以用戶級(jí)數(shù)據(jù)為中心的方法，即通過(guò)System Services導(dǎo)出和導(dǎo)入設(shè)備數(shù)據(jù)，這使得M2具體良好移植性；其次，M2引入了設(shè)備轉(zhuǎn)換，以透明地混合和匹配不同系統(tǒng)中不同的設(shè)備和不同的數(shù)據(jù)格式。這使得未經(jīng)修改的應(yīng)用程序能夠以新的強(qiáng)大的方式共享和組合設(shè)備，例如多端顯示器、更好的音頻質(zhì)量的電話會(huì)議、面向殘疾用戶的用戶界面，以及在iOS系統(tǒng)上運(yùn)行Android應(yīng)用程序。同時(shí)，M2利用商用移動(dòng)編碼和加密硬件來(lái)實(shí)現(xiàn)高質(zhì)量性能，甚至用于3D游戲。最后，該項(xiàng)目未開(kāi)源，復(fù)現(xiàn)上有一定難度。

審核編輯：劉清