演講嘉賓 | 吳圣垚

回顧整理 | 廖 濤

排版校對 | 宋夕明

嘉賓介紹

研究分論壇

吳圣垚，中國科學院軟件研究所技術(shù)專家。

正文內(nèi)容

日志系統(tǒng)記錄了操作系統(tǒng)運行時發(fā)生的各種事件，包括信息變更、錯誤和異常等，對系統(tǒng)的狀態(tài)監(jiān)控、錯誤檢測與診斷、恢復與備份、性能優(yōu)化以及安全審計等起著關(guān)鍵性作用。OpenHarmony的Hilog日志系統(tǒng)是如何構(gòu)建的，又有哪些關(guān)鍵的特性和功能？中國科學院軟件研究所工程師吳圣垚在第三屆OpenHarmony技術(shù)大會上進行了精彩介紹。

為了解決OpenHarmony開源項目運營初期尚未構(gòu)建日志系統(tǒng)，且當今主流日志系統(tǒng)在技術(shù)架構(gòu)層面難以滿足OpenHarmony發(fā)展需求的痛點，作者本人及其團隊設計并實現(xiàn)了高性能日志系統(tǒng)HiLog。HiLog為OpenHarmony提供了一種可追蹤、可審計和可操作的方法，以便了解系統(tǒng)的狀態(tài)、故障和性能。適用于OpenHarmony應用、硬件開發(fā)及測試人員，是每個開發(fā)人員的必備、入門工具。

Hilog在性能原則、資源分配原則、設備兼容性原則和數(shù)據(jù)安全原則等方面均提出了創(chuàng)新的解決方案，具體為：

一、高性能解決方案：從軟件層面提高日志吞吐量，降低丟包率。首先，針對讀、寫日志任務的特征，基于IO復用、異步Socket等模型，優(yōu)化IPC過程。以此提高日志傳輸效率，降低日志傳輸過程中的損耗。

此外，基于雙向循環(huán)鏈表實現(xiàn)緩沖區(qū)；并實現(xiàn)單生產(chǎn)者多消費者的緩沖區(qū)管理機制。以此提高緩沖區(qū)處理能力，降低日志讀寫的損耗。

二、資源分配解決方案：對操作系統(tǒng)資源和日志系統(tǒng)資源進行合理分配，日志系統(tǒng)的運轉(zhuǎn)不能占用過多的操作系統(tǒng)資源；每個寫日志業(yè)務不能占用過多的日志系統(tǒng)資源。在進程流控上，限制每進程的日志寫入，降低IPC壓力；在業(yè)務流控上，進一步限制多進程業(yè)務的日志寫入，降低緩沖區(qū)管理壓力。

三、設備兼容性解決方案：能夠在資源較為豐富的移動端設備上體現(xiàn)高性能特性；能夠在資源受限的小型/輕量級設備上運行。首先，采用模塊化的體系結(jié)構(gòu)，在移動設備上構(gòu)建hilogd，實現(xiàn)高性能日志處理。在小型設備上不構(gòu)建hilogd，降低CPU和內(nèi)存資源消耗。

其次，對日志流進行壓縮。高流量使用場景，將日志流直接輸入壓縮算法，然后持久化。大幅降低存儲資源消耗；此外，采取輪轉(zhuǎn)文件壓縮方案，低流量實用場景，將日志寫入文件輪盤，壓縮文件，刪除源文件。在避免日志大量丟失的前提下，降低存儲資源消耗。

四、數(shù)據(jù)安全解決方案：保護流經(jīng)日志系統(tǒng)的關(guān)鍵信息；盡可能減少額外的性能開銷?；诟袷交嘉环淖兞磕涿涸诟袷交嘉环刑砑与[私標識。HiLog可以識別該隱私標識，并基于隱私開關(guān)，對變量進行匿名化或非匿名化處理。以此構(gòu)建輕量級數(shù)據(jù)安全能力。

目前，Hilog日志系統(tǒng)的相關(guān)工作已經(jīng)發(fā)表在軟件學報（文章鏈接：http://www.jos.org.cn/1000-9825/6900.html），且代碼已合入了OpenHarmony主線（項目地址：https://gitee.com/openharmony/hiviewdfx_hilog），在包括HarmonyOS NEXT在內(nèi)的多個OpenHarmony發(fā)行版上進行了穩(wěn)定的運行，為系統(tǒng)開發(fā)者、應用開發(fā)者和數(shù)據(jù)分析師提供了重要的日志數(shù)據(jù)。

在OpenHarmony迅速發(fā)展以及萬物智聯(lián)場景逐步演進的背景下，OpenHarmony的日志系統(tǒng)將面臨哪些挑戰(zhàn)和機遇？作者本人提出了以下2點展望：

一、目前業(yè)界對于日志系統(tǒng)的數(shù)據(jù)安全的研究較少，HiLog的輕量化數(shù)據(jù)安全能力是對于日志數(shù)據(jù)安全問題的初步探索,雖然可以一定程度上遮蔽敏感數(shù)據(jù)信息,但是仍需要開發(fā)者和審核人員投入精力對日志參數(shù)進行修改和驗證，具備一定的人工成本。后續(xù)希望能夠引入一些自動化的判斷機制，例如采用機器學習的手段對日志參數(shù)的上下文進行分析，進而自動化地判斷該參數(shù)是否屬于隱私信息，減少人工審核成本,提高數(shù)據(jù)安全能力的易用性。

二、OpenHarmony作為分布式操作系統(tǒng),原生支持分布式能力。分布式能力涉及到多臺設備的協(xié)同運作，即日志信息會在多臺設備上產(chǎn)生，然而，目前HiLog尚不具備從多設備統(tǒng)一收集日志并進行管理的能力。這種缺陷對于分布式能力的開發(fā)和調(diào)試造成了一定的不便，具備優(yōu)化的空間。構(gòu)造分布式日志系統(tǒng)有兩個重要的問題需要解決，其一是設備間高速、高穩(wěn)定的連接問題，其二是多設備的時鐘同步問題。對于第一個問題，可以等待OpenHarmony的軟總線(softbus)技術(shù)成熟后，利用softbus作為穩(wěn)定高速的日志傳輸?shù)耐ǖ溃粚τ诘诙€問題，可以考慮基于精確時間協(xié)議（precision time protocol，PTP）實現(xiàn)無線局域網(wǎng)內(nèi)的多設備時鐘同步。

審核編輯 黃宇