故障現象

某資源池在運行過程中一臺虛擬機出現業(yè)務異常，通過查看日志和異常記錄，判斷為虛擬機發(fā)生時鐘跳變問題，如下圖所示。

故障分析

檢查時鐘跳變異常的原因可能有如下四個：

虛擬機和時鐘源時間是否正常同步。

是否發(fā)生過時鐘跳變，導致虛擬機同步發(fā)生時鐘跳變。

虛擬機是否發(fā)生過重啟，導致時鐘和硬件同步。

虛擬機是否有其他的時鐘源，導致時鐘在兩個時鐘源中變化。

根據分析原因，進行問題排查：

1. 檢查虛擬機是否和時鐘源正常時鐘同步。

登錄到虛擬機內部，通過ntpq -np命令查看虛擬機和時鐘源的同步狀態(tài)正常，未有大的偏差，如下圖所示。

2. 檢查時鐘源服務器，確認是否發(fā)生過時鐘跳變等情況。

聯(lián)系時鐘源服務廠家，通過檢查時鐘源日志和其他業(yè)務系統(tǒng)時鐘日志，未發(fā)現時鐘中斷和跳變情況，初步判斷該跳變情況只發(fā)生在問題虛擬機上。

3. 檢查虛擬機是否發(fā)生過重啟，有無和硬件時鐘發(fā)生同步。

通過執(zhí)行uptime命令檢查虛擬機內部狀態(tài)，近期未發(fā)生重啟現象，如下圖所示。

4. 檢查虛擬機是否有其他時鐘源，導致虛擬機時鐘跳變。

a. 通過執(zhí)行ntpq -np命令查看目前虛擬機內部只有一個時鐘源，因此需要查看是否有同步計算節(jié)點配置。

b. 登錄虛擬機內部，執(zhí)行ps -ef|grep qemu-guest-agent進程，查看存在qemu客戶端，如下圖所示。

c. 登錄計算節(jié)點系統(tǒng)，通過執(zhí)行systemctl status qga.service和rpm -qa | grep qemu命令，確認計算節(jié)點qemu對應服務是否正常在線，如下圖所示。

d. 登錄計算節(jié)點系統(tǒng)，通過virsh list命令讀取虛擬機的ID，執(zhí)行virsh dumpxml ID|grep "nova:name" 命令確認虛擬機，執(zhí)行virsh dumpxml ID|grep -A5 -B5 guest_agent命令確認虛擬機配置，如下圖所示。

e. 檢查配置文件，確認當前虛擬機和計算節(jié)點是10分鐘發(fā)生一次強制同步，如下圖所示。其中“interal = 10 unit= minute ”代表10分鐘。

5. 經過排查，確認虛擬機每10分鐘周期強制和計算節(jié)點時間同步，由于計算節(jié)點時鐘和時鐘源有偏差，導致虛擬機發(fā)生時鐘跳變影響業(yè)務。

故障處理

1. 虛擬機時鐘同步服務器默認不打開，只有虛擬機重啟時候會觸發(fā)一次強制同步。

2. 如果需要打開虛擬機時鐘同步，則需要在虛擬機上安裝QGA插件，同時在虛擬機中把QGA插件的時鐘同步開關打開。

3. 業(yè)務上線前必須明確時鐘同步方案，通常虛擬機需要直接同步時鐘源，不同步計算節(jié)點，避免時鐘跳變。

審核編輯：湯梓紅