故障現(xiàn)象

某運營商TECS OpenStack資源池，在當前告警中顯示“時鐘同步失敗”，以10分鐘整數(shù)倍為間隔上報“時間同步失敗”告警，持續(xù)時間30秒-1分鐘不等。

查看告警詳情為同一臺控制節(jié)點虛擬機，如圖1所示。

故障分析

分析產(chǎn)生該告警的原因：

時間同步失敗告警可能是由于外部時鐘異常導(dǎo)致，需要檢查。

相關(guān)告警上報周期性比較強，可能是由某些定時任務(wù)觸發(fā)。

具體分析過程如下：

使用chronyc sources -v命令，檢查現(xiàn)場時鐘源，未發(fā)現(xiàn)異常，如下圖所示。

尋找一臺正常的控制節(jié)點虛機，使用chronyc sources -v命令，檢查對比，未發(fā)現(xiàn)異常，如下圖所示。

執(zhí)行ping命令，檢測時鐘源，未發(fā)現(xiàn)丟包。

外部時鐘正常，時鐘同步正常，結(jié)合告警出現(xiàn)周期性比較強、告警持續(xù)時間較短的特點，分析可能是因為定時任務(wù)觸發(fā)了控制節(jié)點虛機的時間修改。

初步推測是宿主機開啟了qga服務(wù)，控制節(jié)點虛機會每10分鐘向宿主機同步一次時間。

執(zhí)行virsh qemu-agent-command --pretty controllervm '{"execute":"guest-get -reverse-command-status"}'|grep minute -A 1 |grep enabled命令，查看現(xiàn)場三個控制節(jié)點虛機輸出結(jié)果，如下圖所示。

由上圖可見，只有異常節(jié)點輸出結(jié)果是“enabled”: true，說明該節(jié)點開啟了qga。

執(zhí)行virsh dumpxml 1|grep -A5 "channel type"命令，發(fā)現(xiàn)同步周期為10分鐘，與告警周期一致。因此判斷該問題是由于虛機除了與外部時鐘源同步外，還定時向宿主機同步時間，導(dǎo)致告警上報，如下圖所示。

故障處理

臨時解決方案：通過在宿主機執(zhí)行virsh qemu-agent-command --pretty controllervm '{"execute":"guest-set-reverse-command-status", "arguments": {"command": "host-get-time", "enabled":false}}' 命令，臨時關(guān)閉qga服務(wù)。但是在重啟虛機中qga服務(wù)會恢復(fù)。

正式解決方案：執(zhí)行virsh dumpxml controllervm > controllervm.xml命令，修改xml文件中qga的配置，將interval的值改為never，或者改成和其他節(jié)點一樣，關(guān)閉虛機。執(zhí)行virsh create controllervm.xml命令，重新創(chuàng)建虛機。

相關(guān)操作命令：

a. 判斷是否需要qga服務(wù)，如果不需要，可以執(zhí)行如下命令，在不關(guān)閉虛機的前提下，在虛機中關(guān)閉qga服務(wù)。

systemctl stop qga.service，systemctl disalbe qga.service

b. 執(zhí)行如下命令，確認節(jié)點是否有配置qga服務(wù)。

virsh dumpxml domain |grep qemu.guest_agent

總結(jié)：時鐘作為業(yè)務(wù)運行和命令的時間戳，在運維中穩(wěn)定至關(guān)重要，該類問題需要第一時間重點分析處理，避免時鐘跳變導(dǎo)致集群和業(yè)務(wù)異常。