本文對現(xiàn)有的基于經(jīng)典機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法的日志異常檢測方法進(jìn)行了實證研究，并提出了一種自動化日志異常檢測評估框架LightAD。

日志是AIOps領(lǐng)域需要處理的常見數(shù)據(jù)，是程序運行過程中由代碼打印出的一些非結(jié)構(gòu)化的文本信息，日志通常由時間戳和文本信息組成。日志實時記錄了系統(tǒng)的運行狀態(tài)，包括正常運行狀態(tài)和故障發(fā)生時的狀態(tài)。因此通過收集和分析日志，可以快速檢測和定位出系統(tǒng)中存在的異常。

本文研究了深度學(xué)習(xí)方法在日志異常檢測中與更簡單技術(shù)相比的優(yōu)越性，在五個公共的日志異常檢測數(shù)據(jù)集上對輕量級傳統(tǒng)機(jī)器學(xué)習(xí)方法（如KNN、SLFN）和深度學(xué)習(xí)方法（如CNN、NeuralLog）進(jìn)行了全面的評估。

本文的研究結(jié)果表明，通過合適的數(shù)據(jù)處理方式，輕量級機(jī)器學(xué)習(xí)方法能夠在時間效率和準(zhǔn)確性方面都優(yōu)于深度學(xué)習(xí)方法。為了評估深度學(xué)習(xí)方法的必要性，本文提出了一種自動化的日志異常檢測模型評估框架LightAD。LightAD是一種基于貝葉斯優(yōu)化器的優(yōu)化訓(xùn)練時間、推斷時間和性能得分的評估框架。通過自動化超參數(shù)調(diào)優(yōu)，LightAD可以實現(xiàn)在日志異常檢測模型之間進(jìn)行公正的比較，使運維工程師能夠針對不同的在線異常檢測目標(biāo)來選擇合適的異常檢測模型。

模型收益的多目標(biāo)優(yōu)化公式如下：

下圖是在去除重復(fù)數(shù)據(jù)的HDFS數(shù)據(jù)集上使用LightAD進(jìn)行異常檢測方法優(yōu)化和評估的結(jié)果，最高模型收益的分?jǐn)?shù)由黑色加粗標(biāo)識。從圖中可以看出，LightAD挑選出的模型都是輕量級的機(jī)器學(xué)習(xí)方法。

本文來自華為云PaaS技術(shù)創(chuàng)新Lab和香港中文大學(xué)（深圳）賀品嘉助理教授團(tuán)隊合作項目成果產(chǎn)出，相關(guān)研究成果已被軟件工程領(lǐng)域頂會ICSE 2024（CCF A類）正式錄用，文章詳細(xì)內(nèi)容即將公開，敬請關(guān)注。