演講嘉賓 | 杜冬冬

回顧整理 | 廖 濤

排版校對 | 宋夕明

嘉賓介紹

研究分論壇

杜冬冬，上海交通大學(xué)助理研究員、上海交通大學(xué)OpenHarmony技術(shù)俱樂部指導(dǎo)老師。研究方向為操作系統(tǒng)。目前圍繞智能終端操作系統(tǒng)，在渲染服務(wù)、內(nèi)核關(guān)鍵技術(shù)、軟硬件協(xié)同、模型原生等方面開展了多項工作，成果發(fā)表在 SOSP、OSDI、ASPLOS、ISCA 等操作系統(tǒng)和體系結(jié)構(gòu)領(lǐng)域頂級會議上，多項工作被開源社區(qū)和工業(yè)界大規(guī)模部署應(yīng)用。

正文內(nèi)容

渲染服務(wù)（Rendering Service）是終端操作系統(tǒng)的重要組件，能顯著提升界面繪制的效率和質(zhì)量，直接決定著終端用戶的體驗。隨著AI技術(shù)的快速發(fā)展以及用戶日益增長的體驗需求，下一代智能終端操作系統(tǒng)的渲染服務(wù)將面臨哪些挑戰(zhàn)，又將如何發(fā)展？上海交通大學(xué)助理研究員杜冬冬在第三屆OpenHarmony技術(shù)大會上進行了精彩分享。

什么是渲染服務(wù)？和其他終端操作系統(tǒng)服務(wù)一樣，渲染服務(wù)通過將硬件能力（CPU、GPU 等）進行封裝抽象，向應(yīng)用程序提供渲染等能力的服務(wù)（2D圖形渲染等）。在終端操作系統(tǒng)中，渲染服務(wù)是一個重要的組成部分，其直接關(guān)乎著終端設(shè)備使用者的用戶體驗。當(dāng)前渲染服務(wù)通常包括兩個架構(gòu)，統(tǒng)一渲染和分離渲染。其中，統(tǒng)一渲染將主要的渲染任務(wù)都集中在一個渲染服務(wù)（如 Render Service）中，其能夠帶來較好的全局渲染任務(wù)管理，使能一些復(fù)雜的動效；而分離渲染是指每個應(yīng)用中會有專門的渲染線程，來進行渲染任務(wù)，其能夠較好地平衡不同應(yīng)用的渲染負載。

分離渲染架構(gòu) 統(tǒng)一渲染架構(gòu)

現(xiàn)代移動端圖形系統(tǒng)通常采用VSync架構(gòu)的渲染策略，其主要特點有：顯示器HAL層每幀率分之一秒向軟件圖形系統(tǒng)發(fā)送一個VSync事件；VSync事件觸發(fā)軟件圖形系統(tǒng)執(zhí)行該幀邏輯（輸入處理、動畫、渲染、合成）；該幀（或者該幀的一些階段）通常需要在下一個VSync事件之前完成，否則會影響后一幀的執(zhí)行并產(chǎn)生掉幀。

隨著終端設(shè)備能力的快速迭代，日益增長的硬件顯示需求（更清晰、更流暢、更沉浸式的硬件顯示需求）和高級動效需求（持續(xù)增長的圖形特性數(shù)量加重了渲染負載，使每幀的運行時間難以預(yù)測）對渲染與視窗技術(shù)提出了更大挑戰(zhàn)。然而，極致流暢與高端精致的目標(biāo)難以兼得，且掉幀與渲染時延長的問題客觀存在，功耗仍需努力。

日益增長的硬件顯示需求

日益增長的高級動效需求

目前，基于VSync架構(gòu)執(zhí)行渲染存在的主要問題是：掉幀（frame drop）和時延（latency）。

掉幀形成的主要原因是：渲染系統(tǒng)無法在顯示器硬件VSync信號（即屏幕刷新）前準(zhǔn)備好一幀圖像上屏，導(dǎo)致顯示器在下一個新的VSync周期內(nèi)仍使用上一幀舊的圖像，產(chǎn)生頓挫、卡頓感。

VSync邏輯示意圖

當(dāng)前，由于渲染負載存在波動，當(dāng)出現(xiàn)重負載長幀時，當(dāng)前VSync架構(gòu)下，長幀往往無法在一個VSync周期內(nèi)完成，產(chǎn)生偶發(fā)的掉幀。掉幀的根因是負載存在波動，而非每幀均衡。雖然大部分幀可以在一個VSync周期內(nèi)完成，但仍存在少部分的重負載長幀導(dǎo)致掉幀，很難避免。此外，由于渲染的場景眾多/動畫眾多/操作眾多無法考慮全，用戶的極限操作也無法預(yù)判，且圖形框架非常復(fù)雜，對于app開發(fā)者/框架開發(fā)者無法完全掌握框架的正確用法/最好用法，導(dǎo)致了幀率優(yōu)化困難。

Pixel 5 (Android) 幀渲染時長的箱形圖

時延即從某一幀開始執(zhí)行（處理輸入事件）到該幀真正顯示到屏幕上的時間。VSync架構(gòu)規(guī)定，每一幀的UI線程和系統(tǒng)服務(wù)（SF/RS）必須被VSync信號觸發(fā)，這種強制的對齊導(dǎo)致了額外的時延。此外，由于三緩沖機制（triple buffering，一種用于優(yōu)化圖形渲染性能的技術(shù)）允許在掉幀時渲染完的幀堆積在幀緩沖隊列中，從而產(chǎn)生被動堆積。若有堆積，延時會額外增加一個周期。

時延會影響跟手性，在滑動過程中，小球無法完全貼合指尖（被指尖覆蓋）；在快速滑動中，小球落后指尖的最大值為約為2.4cm (400 px)，平均值約為200 px。

時延與跟手性

針對上述渲染過程的掉幀和時延問題，作者本人及其所在團隊基于OpenHarmony進行渲染研究分析，并提出了提出了“D-Vsync”技術(shù)。

通過觀察渲染的冪律分布可知：大部分幀（95%）是短幀，能夠在Vsync周期能順利完成；小部分關(guān)鍵幀（5%）是長幀，負載大難以在周期內(nèi)完成，并且導(dǎo)致丟幀等一系列影響用戶體驗的問題。因此，可以考慮利用短幀“省”下來的時間，去“幫”長幀（削峰填谷）。

渲染的冪律分布

與Android分離渲染架構(gòu)不同，OpenHarmony采取的統(tǒng)一渲染架構(gòu)能夠?qū)崿F(xiàn)各個App統(tǒng)一繪制。因此，D-Vsync（Decoupeld) OpenHarmony總體架構(gòu)如下所示：

(D-)VSync OpenHarmony總體架構(gòu)圖

關(guān)鍵的設(shè)計有：

(D-)VSync應(yīng)用于渲染服務(wù)進程Render Service (RS) ，管理RS每一幀的執(zhí)行時機；

APP側(cè)可以通過rs_RequestNextVSync (后文簡稱RNV) 請求渲染服務(wù)進程RS去執(zhí)行下一幀渲染邏輯。APP側(cè)處理輸入事件響應(yīng)，在有事件響應(yīng)/UI動畫等場景下，會調(diào)用RNV；

RS側(cè)自己可以通過RNV請求自己執(zhí)行下一幀渲染邏輯。通常為屬性動畫等動畫場景。

其中，當(dāng)APP側(cè)請求RNV時，在VSync模式下，RS必須要在RNV請求后的第一個VSync事件到來后執(zhí)行這一幀，擁有額外的等待。此外，由于用戶輸入、APP側(cè)RNV不可預(yù)知，RS不能盲目提前執(zhí)行。當(dāng)RS屬性動畫自我請求RNV時，此時APP主線程不執(zhí)行，RS存在長幀與短幀的負載波動，導(dǎo)致掉幀，屬性動畫場景不涉及輸入，為確定性負載可以提前執(zhí)行。

(D-)VSync邏輯示意圖

D-VSync的幀預(yù)執(zhí)行模塊：D-VSync為RNV增加了新的參數(shù)，判斷是外部調(diào)用（App側(cè)事件響應(yīng)、UI動畫），還是自我調(diào)用（RS屬性動畫）。并且，D-VSync還會根據(jù)上一個VSync周期和當(dāng)前VSync周期內(nèi)收到的RNV類型，判斷是屬性動畫場景、非動畫場景（響應(yīng)事件）、混合場景（包含動畫和事件），根據(jù)場景進行相應(yīng)的執(zhí)行動作：

動畫場景：在收到一個APP RNV時，若前一個周期內(nèi)沒有收到任何RNV（渲染最開始），或者前一個周期僅收到APP的RNV，則可以執(zhí)行該幀；

非動畫場景：在收到一個RS RNV時，前一個周期內(nèi)沒有收到APP的RNV，則可以執(zhí)行該幀（D-VSync）；

混合場景：在收到一個RS RNV時，前一個周期內(nèi)有APP的RNV，則等待該幀的APP RNV，收到后一并執(zhí)行該幀；在收到一個APP RNV時，前一個周期內(nèi)有RS的RNV，則等待該幀的RS RNV，收到后一并執(zhí)行該幀。若等待超時，則表示輸入事件流/屬性動畫結(jié)束，再響應(yīng)該RNV執(zhí)行該幀。

D-VSync 幀預(yù)執(zhí)行模塊

此外，幀堆積存在預(yù)設(shè)的預(yù)執(zhí)行上限 X（由D-VSync控制器配置）。若響應(yīng)該RNV立刻發(fā)送事件給RS會導(dǎo)致超出預(yù)執(zhí)行上限 X，則等待到下一個VSync周期再發(fā)送該事件。發(fā)送事件前會檢查該幀的虛擬時間戳和此刻系統(tǒng)的真實時間戳比較，兩者的差值最大為X個周期（即預(yù)執(zhí)行最早提前X個周期）。

D-VSync的虛擬時間戳模塊：真實的VSync信號會在每個周期記錄真實的時間戳和周期（realVSyncTS，realPeriod）。屬性動畫RNV在請求時會附帶請求時這一幀的時間戳 lastVSyncTS。虛擬時間戳的計算方式如下：

屬性動畫場景/混合場景：lastVSyncTS + realPeriod將動畫向前推進；將結(jié)果比較now確定是否已發(fā)生掉幀，若掉幀則使用realVSyncTS + realPeriod。

非動畫場景：realVSyncTS + realPeriod使用下一個真實的VSync時間戳；將結(jié)果比較historyTS確保時間戳不發(fā)生回退。若小于或相等，則使用historyTS + realPeriod。

D-VSync 虛擬時間戳模塊

此外，每幀在計算完虛擬時間戳后會用realVSyncTS 和 realPeriod來進行時間戳校準(zhǔn)邏輯。虛擬的VSync時間戳expectedVSyncTS會被校準(zhǔn)為realVSyncTS + k * realPeriod，其中k是整數(shù)。該校準(zhǔn)邏輯避免了動畫期間、非動畫但是依賴于historyTS由堆積的情況下造成的時間戳誤差累積。

D-VSync的控制器?？刂破鞴芾鞤-VSync預(yù)執(zhí)行上限和D-VSync的開啟與關(guān)閉（即 D-VSync 與 VSync 的實時動態(tài)切換，與靜態(tài)系統(tǒng)配置）。當(dāng)VSync -> D-VSync動態(tài)切換時，會記錄pendingRNVInVSync，在D-VSync模式下，第一個真實的VSync信號觸發(fā)時發(fā)送事件，之后的RNV會直接觸發(fā)事件（即D-VSync的堆積）。當(dāng)D-VSync -> VSync 動態(tài)切換時：D-VSync有堆積的幀，在切換回VSync模式后會跳過已經(jīng)有堆積的幀的時間戳，保證不會產(chǎn)生時間戳回退/幀的重復(fù)（當(dāng)前僅在有連續(xù)5幀空幀時會發(fā)生切換，減少能耗）。

此外，控制器還能夠確保RNV不會互相覆蓋、會被distributor主線程及時處理的同步邏輯，并且能夠統(tǒng)計空幀數(shù)量，標(biāo)記是否在屬性動畫期間等。

D-VSync控制器

未來，在AI技術(shù)和智能終端設(shè)備快速發(fā)展的背景下，下一代智能終端操作系統(tǒng)的渲染服務(wù)的性能表現(xiàn)將至關(guān)重要。面對高端精致、設(shè)備升級等挑戰(zhàn)，如何構(gòu)建并行的、動態(tài)可擴展的、負載均衡的、端到端運行時可預(yù)測的渲染與視窗服務(wù)？如何通過多設(shè)備協(xié)同渲染能力、空間計算與3D視窗能力等進一步提升用戶體驗？期待與大家共同探討。