我們搞運(yùn)維的總幻想著，任何線上問(wèn)題都能靠它自己自愈，它只需要在發(fā)生問(wèn)題時(shí)自動(dòng)解決問(wèn)題后通知一下我們即可！

這不，今天就有這樣一個(gè)小需求，對(duì)你來(lái)說(shuō)一定非常簡(jiǎn)單。

【需求】

寫一個(gè)自動(dòng)化重啟服務(wù)腳本，當(dāng)訪問(wèn)日志頻繁出現(xiàn)502狀態(tài)碼時(shí)，重啟php-fpm服務(wù)。

提示：

假定Ngnix訪問(wèn)日志路徑為/data/logs/www_access.log

重啟php-fpm服務(wù)的命令為systemctl restart php-fpm

訪問(wèn)日志片段（里面的200就是狀態(tài)碼）

?

123.52.13.247 - [30/Jul/202203:15 +0800]bbs.aabcc.cn "/thread-2403963-2-198.html" 200 "http://bbs.aabcc.cn/thread-2403963-1-198.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
171.8.172.146 - [30/Jul/202203:15 +0800]bbs.aabcc.cn "/thread-2430178-2-7.html" 200 "http://bbs.aabcc.cn:8234/thread-2430178-8-7.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
171.8.173.103 - [30/Jul/202203:15 +0800]bbs.aabcc.cn "/forum.php?mod=viewthread&action=printable&tid=2407976" 200 "http://bbs.aabcc.cn:8784/forum.php?mod=viewthread&tid=2407976&extra&ordertype=2" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
123.52.13.247 - [30/Jul/202203:15 +0800]bbs.aabcc.cn "/thread-2396686-1-245.html" 200 "http://bbs.aabcc.cn/thread-2396686-2-245.html" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"

?

腳本可以每分鐘執(zhí)行一次，腳本執(zhí)行時(shí)截取上一分鐘的日志，可以計(jì)算總?cè)罩拘袛?shù)，和出現(xiàn)502的行數(shù)，計(jì)算比例，這里我給大家定一個(gè)比例吧，超過(guò)20%就算是有問(wèn)題啦

【解析】

首先，給出思路：

每分鐘執(zhí)行腳本，將過(guò)去一分鐘的日志截取出來(lái)；

然后分析這一分鐘內(nèi)的日志，計(jì)算日志總行數(shù)，計(jì)算狀態(tài)碼為502的日志行數(shù)；

兩個(gè)數(shù)字相除，計(jì)算百分比；

拿到百分比數(shù)字和20相比較；

高于20執(zhí)行重啟php-fpm服務(wù)的命令；

先看第一個(gè)需求點(diǎn)，如何拿到過(guò)去一分鐘的日志?

看日志片段吧，很明顯日志里有一個(gè)時(shí)間字段 "30/Jul/202203:15"

過(guò)去一分鐘，就是拿當(dāng)前的分鐘減去一分鐘，date就可以實(shí)現(xiàn)啊 ：?

?

date -d "-1 min" +%Y:%H:%M

?

為了過(guò)濾的更加精準(zhǔn)，建議在最后面再加個(gè):

所以，從訪問(wèn)日志中截取過(guò)去一分鐘的日志可以這樣做:

?

last_t=`date -d "-1 min" +%Y:%H:%M"`
tail -n 10000 /data/logs/www_access.log |grep "/${last_t}:"  > /tmp/last.log

?

解釋一下，為什么tail -n 10000呢，因?yàn)槿绻L問(wèn)日志很大的話，直接去grep會(huì)比較耗費(fèi)時(shí)間，所以先將最后面的1w行截取出來(lái)，效率會(huì)高很多。

當(dāng)然，這個(gè)1w是我預(yù)估的，大家也可以根據(jù)實(shí)際的日志量來(lái)評(píng)估這個(gè)數(shù)字，你也可以是1000行。

將過(guò)濾后的日志先存放到一個(gè)臨時(shí)文件里，留著備用。

下面就該計(jì)算日志總行數(shù)，這個(gè)很簡(jiǎn)單，直接 wc ?-l ?/tmp/last.log 就行了。

而502狀態(tài)碼的日志行數(shù)，還需要使用grep：

?

grep  -c '" 502 "' /tmp/last.log

?

大家注意，502左右都帶有空格，這是為了更加精準(zhǔn)匹配，因?yàn)槿罩纠锖苡锌赡芷渌胤桨?02關(guān)鍵詞。

拿到兩個(gè)數(shù)字后，接下來(lái)就該計(jì)算百分比了。

百分比要精確到小數(shù)點(diǎn)后兩位，所以不能直接使用shell中的數(shù)學(xué)運(yùn)算，得借助于一個(gè)linux下的計(jì)算器bc，先看例子吧 ：

?

echo "scale=2; 12*100/101"|bc

?

所以對(duì)應(yīng)到本案例中，假設(shè)502行數(shù)用s502_c變量標(biāo)記，最后1分鐘日志總行數(shù)用last_1min_c標(biāo)記，計(jì)算百分比，這樣做：

?

echo "scale=2; ${s502_c}*100/${last_1min_c}"|bc

?

由于shell中的數(shù)學(xué)邏輯運(yùn)算不能使用小數(shù)來(lái)比較，所以還需要將上面獲取到的數(shù)字進(jìn)一步包裝，可以將其乘以100，也就是去掉點(diǎn)：

?

echo "scale=2; ${s502_c}*100/${last_1min_c}"|bc|sed 's/.//'

?

獲取到這個(gè)數(shù)字后，然后再與2000進(jìn)行比較。

之后，就是去做判斷，若符合條件進(jìn)行重啟操作。

【參考答案】

腳本最終是這樣的：

?

#!/bin/bash
logfile="/data/logs/www_access.log"
last_t=`date -d "-1 min" +%Y:%H:%M`
tail -n 10000 $logfile |grep "/${last_t}:"  > /tmp/last.log
last_1min_c=`wc -l /tmp/last.log|awk '{print $1}'`
s502_c=`grep  -c '" 502 "' /tmp/last.log`
p=`echo "scale=2; ${s502_c}*100/${last_1min_c}"|bc|sed 's/.//'`
if [ $p -gt 2000 ]
then
    echo "`date` 502日志大于20%,需要重啟php-fpm服務(wù)" >> /tmp/restart_php-fpm.log
    systemctl restart php-fpm
fi

?

　審核編輯：湯梓紅

?