陽光燦爛的周末大清早，老王在健身房做著力量訓(xùn)練以備戰(zhàn)即將開始的馬拉松，突然間“叮叮?！边B續(xù)的短信音打破了健身房有序的節(jié)奏，幾十條短信在手機(jī)提示欄出現(xiàn)“【重要告警】數(shù)據(jù)庫(kù)連接超時(shí)，請(qǐng)聯(lián)系管理員”。老王一拍大腿，心中默念道“系統(tǒng)可能崩得了”。

“Siri，打電話給小李?！薄拔?，王總啊，周末都不讓人睡個(gè)安穩(wěn)覺?。　薄笆」鞠到y(tǒng)連著發(fā)了幾十條數(shù)據(jù)庫(kù)超時(shí)的告警短信，半個(gè)小時(shí)后公司見?！?/p>

人物注：老王，某安全公司運(yùn)營(yíng)中心負(fù)責(zé)人。小李，老王得力干將，運(yùn)營(yíng)技術(shù)達(dá)人。

上篇 :

告警來勢(shì)洶洶，AI提供新的可能

在這個(gè)數(shù)據(jù)信息爆炸的時(shí)代，各個(gè)系統(tǒng)產(chǎn)生的日志數(shù)據(jù)就像是一場(chǎng)永無止境的海嘯，每天以驚人的速度增長(zhǎng)，如果又剛好遇到系統(tǒng)異常，那這場(chǎng)災(zāi)難瞬間拉升到毀滅級(jí)，此刻命令行頁面日志信息也的確如潮水般涌來，仿佛在說：“嘿，處理我啊，看把你能的！”

“問題找到?jīng)]有？有解決方案嗎？怎么恢復(fù)業(yè)務(wù)？”一見面老王對(duì)著小李就是奪命三連問?！皢栴}暫時(shí)沒找到，方案倒是有，想不想聽？”小李眼角有些狡黠的說到?！翱煺f，啥時(shí)候了？”“刪庫(kù)跑路”小李笑著說，“既然找不到問題，就把提出問題的數(shù)據(jù)庫(kù)干掉，你的告警不就收不到了！”“你小子，這時(shí)候還開玩笑，心是真大，KPI不管了？”“別急嘛，我暫時(shí)有辦法恢復(fù)，不過后面改進(jìn)的話，得讓研發(fā)的兄弟上新手段了”

“啥手段，說話能不能不大喘氣？”

“AI”

“先恢復(fù)業(yè)務(wù)，改進(jìn)方案說來聽聽，我之前也有關(guān)注AI，感覺還真能提供些思路?！?/p>

“瞧好吧，您呢”。

半個(gè)小時(shí)后，業(yè)務(wù)恢復(fù)，好在故障發(fā)生時(shí)間在周末早上，幾乎沒有用戶訪問業(yè)務(wù)。

“來吧，說說你AI大計(jì)”

“故障原因很明確就是數(shù)據(jù)庫(kù)連接超時(shí)，但是后臺(tái)的日志量巨大，不好定位，尤其是這種短時(shí)間海量日志的情況，通過人工很難快速分析，就像我這種運(yùn)營(yíng)老司機(jī)都得看好久，而且現(xiàn)有版本只對(duì)異常結(jié)果做了告警但卻沒法對(duì)異常做預(yù)警。而日志這種文本類業(yè)務(wù)用AI來處理分析，AI能夠在幾秒鐘內(nèi)分析完數(shù)萬條日志，找出其中的規(guī)律和異常，而我們?nèi)祟惪赡苓€在cat grep第一條日志的內(nèi)容。AI的引入，不僅大大提高了日志處理的效率，而且可以主動(dòng)對(duì)異常分析提供預(yù)警能力，可以讓我們從繁瑣的人工分析中解脫出來，有更多時(shí)間去做更有創(chuàng)意的事情?！?/p>

“繼續(xù)，講干貨。如果方案確實(shí)可行的話，可以給公司建議投入開發(fā)?！崩贤醯难劾镩W著光芒，因?yàn)樗耙沧鲞^AI技術(shù)的調(diào)研，或許是個(gè)方向。

“好”小李灌了口紅牛，把旁邊的白板拉了過來，幾分鐘后，一個(gè)處理流程圖便出現(xiàn)在白板上。

其實(shí)，AI處理日志的核心過程可以概括為以下幾個(gè)通用的步驟：

1.數(shù)據(jù)收集與預(yù)處理

日志數(shù)據(jù)通常分散在系統(tǒng)不同組件模塊中，首先通過日志采集工具（如Fluentd、Logstash）將數(shù)據(jù)集中到統(tǒng)一日志平臺(tái)，這個(gè)算是一般的態(tài)勢(shì)平臺(tái)或者日志審計(jì)平臺(tái)的基本功能，現(xiàn)有的技術(shù)方案很成熟，可以直接復(fù)用。

通常而言，收集到日志數(shù)據(jù)根據(jù)格式可以分為結(jié)構(gòu)化和非結(jié)構(gòu)化兩種：

● 結(jié)構(gòu)化日志就像是一位穿著整齊的紳士，每條記錄都有固定的格式和內(nèi)容位置，比如時(shí)間戳、日志級(jí)別、消息內(nèi)容等。這種日志AI可以輕松地將其拆解和分析。

● 非結(jié)構(gòu)化日志則像是一位隨性的藝術(shù)家，信息雜亂無章，格式依開發(fā)的程序猿風(fēng)格各異。類似的日志處理起來就復(fù)雜多了，這個(gè)如果人工處理，那將是一個(gè)極其費(fèi)時(shí)的事情。

預(yù)處理通常是對(duì)日志進(jìn)行清洗和格式化處理，去除噪聲數(shù)據(jù)，并將非結(jié)構(gòu)化日志轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)（如JSON或CSV格式）。這一步是后續(xù)所有工作開始的基礎(chǔ)，也是后續(xù)AI進(jìn)行推理訓(xùn)練的基礎(chǔ)，而海量日志的預(yù)處理過程同樣可以通過AI進(jìn)行處置。

2.分布式存儲(chǔ)與索引

海量日志處理必然需要高效的存儲(chǔ)方案及高效的檢索能力。目前，AI系統(tǒng)通常使用分布式存儲(chǔ)技術(shù)（如Hadoop HDFS、Elasticsearch）來存儲(chǔ)日志數(shù)據(jù)，并通過索引技術(shù)（如倒排索引）實(shí)現(xiàn)快速查詢。這使得即使面對(duì)TB級(jí)的數(shù)據(jù)，系統(tǒng)也能在秒級(jí)內(nèi)完成檢索。這個(gè)技術(shù)也相當(dāng)成熟，同樣可以采用“拿來主義”直接使用。

3.特征提取與模式識(shí)別

這一步就是整體AI方案的中最為核心的步驟，從文本描述的日志信息里從日志中來提取關(guān)鍵特征。比如常見手段如下：

● 通過正則表達(dá)式識(shí)別錯(cuò)誤碼、IP地址等固定模式。

● 用NLP技術(shù)（如TF-IDF、BERT）對(duì)日志文本進(jìn)行分類（如錯(cuò)誤、警告、信息）。比如，一條非結(jié)構(gòu)化日志可能是：“【Pid 9527 ERROR】2024-04-01 12:34:56 綜合業(yè)務(wù)系統(tǒng)登錄Failed to connect to database.”需要識(shí)別出時(shí)間戳、日志級(jí)別和錯(cuò)誤信息，作為日志文本的特征值存儲(chǔ)。

通過聚類算法（如K-means、DBSCAN）將相似的日志歸類，這樣素材就已經(jīng)規(guī)整完畢，具備分析的條件了。

4.異常檢測(cè)與預(yù)測(cè)

特征值處理之后，通過AI就能夠自動(dòng)檢測(cè)日志中的疑似異常行為。常見的手段包括有：

● 使用孤立森林（Isolation Forest）或局部異常因子（LOF）算法識(shí)別異常日志。

● 通過時(shí)間序列分析（如ARIMA、Prophet）預(yù)測(cè)系統(tǒng)未來的運(yùn)行狀態(tài)（如流量峰值、故障概率）。

● 利用深度學(xué)習(xí)模型（如LSTM）捕捉復(fù)雜的日志模式，實(shí)現(xiàn)更精準(zhǔn)的異常檢測(cè)。

5.自動(dòng)化響應(yīng)與根因分析

發(fā)現(xiàn)疑似的異常問題之后，處置方式可以推送給人工做研判，也可以由AI直接自動(dòng)依據(jù)策略采取行動(dòng)。比如說：

● 通過訓(xùn)練之后的AI模型自動(dòng)觸發(fā)告警、重啟服務(wù)或擴(kuò)容資源（該操作需要和PAAS或SAAS平臺(tái)聯(lián)動(dòng)，一般需要做開發(fā)）。

● 使用因果推斷或圖分析技術(shù)定位問題的根本原因，提供疑似方向，幫助運(yùn)維團(tuán)隊(duì)快速解決問題。

6.可視化與報(bào)告生成

當(dāng)然，為了便于運(yùn)維人員更直觀地理解日志數(shù)據(jù)，也提供可視化工具（如Kibana、Grafana），將日志數(shù)據(jù)以圖表形式展示，這里的技術(shù)也是很成熟的技術(shù)了。

AI還能自動(dòng)生成分析報(bào)告，總結(jié)系統(tǒng)運(yùn)行狀況、異常事件和優(yōu)化建議，由于模型是針對(duì)具體環(huán)境進(jìn)行了專項(xiàng)調(diào)整，因此，比現(xiàn)有的通用模板生成的報(bào)告效果會(huì)更有參考價(jià)值，同時(shí)也可以節(jié)省報(bào)告編寫的時(shí)間。

“王總，怎么說？您覺得這個(gè)方法論和對(duì)應(yīng)的技術(shù)棧調(diào)研是否可行？”“聽起來有點(diǎn)兒意思，但是這個(gè)技術(shù)儲(chǔ)備要求也蠻復(fù)雜的，開發(fā)周期應(yīng)該挺久的吧”“要不，您破費(fèi)下，中午給我安排一頓，我再給您細(xì)細(xì)聊聊?！薄班耄阈∽釉谶@兒等我呢”老王笑了點(diǎn)了點(diǎn)頭，“Siri，打電話給南京大排檔?！?/p>

待續(xù)，下篇精彩繼續(xù)。

審核編輯 黃宇