當(dāng)你登陸一臺 Linux 服務(wù)器之后，因?yàn)橐粋€問題要做性能分析時：你會在第 1 分鐘內(nèi)做哪些檢測呢？

在 Netflix，我們有很多 EC2 的 Linux 機(jī)器，并且也需要很多性能分析工具來監(jiān)控和檢查它們的性能。包括有針對云上的監(jiān)控工具 Atlas，和按需要進(jìn)行實(shí)例分析的 Vector。雖然這些工具能幫助我們解決大多數(shù)問題，但是我們有時候還需要登陸機(jī)器實(shí)例去運(yùn)行一些標(biāo)準(zhǔn)的 Linux 性能分析工具。

最開始的 60 秒：總結(jié)在這篇文章中，Netflix 的性能分析工程師團(tuán)隊會給你展示在最開始的 60 秒內(nèi)，如何在命令行模式下使用已有的 Linux 標(biāo)準(zhǔn)工具進(jìn)行性能優(yōu)化檢測。在 60 秒內(nèi)只需要通過運(yùn)行下面的 10 個命令就可以對系統(tǒng)資源使用和運(yùn)行進(jìn)程有一個很高程度的了解。尋找錯誤信息和飽和度指標(biāo)，并且可以顯示為請求隊列的長度，或者等待時長。因?yàn)樗鼈兌己苋菀桌斫?，然后就是資源利用率。飽和度是指一個資源已經(jīng)超過了它自己的負(fù)荷能力。

有些命令需要安裝 sysstat 工具包。這些命令展示的指標(biāo)會幫助你完成一些 USE（Utilization，Saturation，Errors） 方法：定位性能瓶頸的方法論。包括了檢查使用率（Utilization），飽和度（Saturation），所有資源（比如 CPU，內(nèi)存，磁盤等）的錯誤指標(biāo)（Errors）。同樣也要關(guān)注你什么時候檢查和排除一個資源問題，因?yàn)橥ㄟ^排除可以縮小分析范圍，同時也指導(dǎo)了任何后續(xù)的檢查。

下面的章節(jié)將會通過一個生產(chǎn)系統(tǒng)中的例子來介紹這些命令。要了解更多這些工具的信息，也可以查看它們的幫助手冊。

1. uptime

$ uptime

23:51:26 up 21:31， 1 user， load average： 30.02， 26.43， 19.02

這是一個快速展示系統(tǒng)平均負(fù)載的方法，這也指出了等待運(yùn)行進(jìn)程的數(shù)量。在 Linux 系統(tǒng)中，這些數(shù)字包括等待 CPU 運(yùn)行的進(jìn)程數(shù)，也包括了被不可中斷 I/O（通常是磁盤 I/O）阻塞的進(jìn)程。這給出了資源負(fù)載的很直接的展示，可以在沒有其它工具的幫助下更好的理解這些數(shù)據(jù)。它是唯一快捷的查看系統(tǒng)負(fù)載的方式。

這三個數(shù)字是以遞減的方式統(tǒng)計了過去 1 分鐘，5 分鐘和 15 分鐘常數(shù)的平均數(shù)。這三個數(shù)字給我們直觀展示了隨著時間的變化系統(tǒng)負(fù)載如何變化。例如，如果你被叫去查看一個有問題的服務(wù)器，并且 1 分鐘的所代表的值比 15 分鐘的值低很多，那么你可能由于太遲登陸機(jī)器而錯過了問題發(fā)生的時間點(diǎn)。

在上面的例子中，平均負(fù)載顯示是在不斷增加的，1 分鐘的值是 30，相比 15 分鐘的值 19 來說是增加了。這個數(shù)字這么大就意味著有事情發(fā)生了：可能是 CPU 需求；vmstat 或者 mpstat 會幫助確認(rèn)到底是什么，這些命令會在本系列的第 3 和第 4 個命令中介紹。

2. dmesg | tail

這里展示的是最近 10 條系統(tǒng)消息日志，如果系統(tǒng)消息沒有就不會展示。主要是看由于性能問題導(dǎo)致的錯誤。上面這個例子中包含了殺死 OOM 問題的進(jìn)程，丟棄 TCP 請求的問題。

所以要記得使用這個命令， dmesg 命令值得一用。

3. vmstat 1

對虛擬內(nèi)存統(tǒng)計的簡短展示，vmstat 是一個常用工具（最早是幾十年前為 BSD 創(chuàng)建的）。它每一行打印關(guān)鍵的服務(wù)信息統(tǒng)計摘要。

vmstat 使用參數(shù) 1 來運(yùn)行的時候，是每 1 秒打印一條統(tǒng)計信息。在這個版本的 vmstat 中，輸出的第一行展示的是自從啟動后的平均值，而不是前一秒的統(tǒng)計。所以現(xiàn)在，可以跳過第一行，除非你要看一下抬頭的字段含義。

每列含義說明：

r： CPU 上的等待運(yùn)行的可運(yùn)行進(jìn)程數(shù)。這個指標(biāo)提供了判斷 CPU 飽和度的數(shù)據(jù)，因?yàn)樗话?I/O 等待的進(jìn)程?？山忉尀椋骸皉” 的值比 CPU 數(shù)大的時候就是飽和的。

free：空閑內(nèi)存，單位是 k。如果這個數(shù)比較大，就說明你還有充足的空閑內(nèi)存。“free -m” 和下面第 7 個命令，可以更詳細(xì)的分析空閑內(nèi)存的狀態(tài)。

si，so：交換進(jìn)來和交換出去的數(shù)據(jù)量，如果這兩個值為非 0 值，那么就說明沒有內(nèi)存了。

us，sy，id，wa，st：這些是 CPU 時間的分解，是所有 CPU 的平均值。它們是用戶時間，系統(tǒng)時間（內(nèi)核），空閑，等待 I/O 時間，和被偷的時間（這里主要指其它的客戶，或者使用 Xen，這些客戶有自己獨(dú)立的操作域）。

CPU 時間的分解可以幫助確定 CPU 是不是非常忙（通過用戶時間和系統(tǒng)時間累加判斷）。持續(xù)的 I/O 等待則表明磁盤是瓶頸。這種情況下 CPU 是比較空閑的，因?yàn)槿蝿?wù)都由于等待磁盤 I/O 而被阻塞。你可以把等待 I/O 看作是另外一種形式的 CPU 空閑，而這個命令給了為什么它們空閑的線索。

系統(tǒng)時間對于 I/O 處理來說是必須的。比較高的平均系統(tǒng)時間消耗，比如超過了 20%，就有必要進(jìn)一步探索分析了：也有可能是內(nèi)核處理 I/O 效率不夠高導(dǎo)致。

在上面的例子中，CPU 時間幾乎都是用戶級別的，說明這是一個應(yīng)用級別的使用情況。如果 CPU 的使用率平均都超過了 90%。這不一定問題；可以使用 “r” 列來檢查使用飽和度。

4. mpstat -P ALL 1

這個命令分打印各個 CPU 的時間統(tǒng)計，可以看出整體 CPU 的使用是不是均衡的。有一個使用率明顯較高的 CPU 就可以明顯看出來這是一個單線程應(yīng)用。

5. pidstat 1

pidstat 命令有點(diǎn)像 top 命令中的為每個 CPU 統(tǒng)計信息功能，但是它是以不斷滾動更新的方式打印信息，而不是每次清屏打印。這個對于觀察隨時間變化的模式很有用，同時把你看到的信息（復(fù)制粘貼）記到你的調(diào)查記錄中。

上面的例子可以看出是 2 個 java 進(jìn)程在消耗 CPU。%CPU 列是所有 CPU 的使用率；1591% 是說明這個 java 進(jìn)程消耗了幾乎 16 個 CPU 核。

6. iostat -xz 1

這個工具對于理解塊設(shè)備（比如磁盤）很有用，展示了請求負(fù)載和性能數(shù)據(jù)。具體的數(shù)據(jù)看下面字段的解釋：

r/s， w/s， rkB/s， wkB/s：這些表示設(shè)備上每秒鐘的讀寫次數(shù)和讀寫的字節(jié)數(shù)（單位是 k 字節(jié)）。這些可以看出設(shè)備的負(fù)載情況。性能問題可能就是簡單的因?yàn)榇罅康奈募虞d請求。

await：I/O 等待的平均時間（單位是毫秒）。這是應(yīng)用程序所等待的時間，包含了等待隊列中的時間和被調(diào)度服務(wù)的時間。過大的平均等待時間就預(yù)示著設(shè)備超負(fù)荷了或者說設(shè)備有問題了。

avgqu-sz：設(shè)備上請求的平均數(shù)。數(shù)值大于 1 可能表示設(shè)備飽和了（雖然設(shè)備通常都是可以支持并行請求的，特別是在背后掛了多個磁盤的虛擬設(shè)備）。

%util：設(shè)備利用率。是使用率的百分?jǐn)?shù)，展示每秒鐘設(shè)備工作的時間。這個數(shù)值大于 60% 則會導(dǎo)致性能很低（可以在 await 中看），當(dāng)然這也取決于設(shè)備特點(diǎn)。這個數(shù)值接近 100% 則表示設(shè)備飽和了。

如果存儲設(shè)備是一個邏輯磁盤設(shè)備，后面掛載了多個磁盤，那么 100% 的利用率則只是表示有些 I/O 是在 100% 處理，然而后端的磁盤或許遠(yuǎn)遠(yuǎn)沒有飽和，還可以處理更多的請求。

請記住，磁盤 I/O 性能低不一定是應(yīng)用程序的問題。許多技術(shù)通常都被用來實(shí)現(xiàn)異步執(zhí)行 I/O，所以應(yīng)用程序不會直接阻塞和承受延時（比如：預(yù)讀取和寫緩沖技術(shù)）。

7. free -m

右面兩列展示的是：

buffers：用于塊設(shè)備 I/O 緩沖的緩存。

cached：用于文件系統(tǒng)的頁緩存。

我們只想檢測這些緩存的數(shù)值是否接近 0 。不為 0 的可能導(dǎo)致較高的磁盤 I/O（通過 iostat 命令來確認(rèn)）和較差的性能問題。上面的例子看起來沒問題，都還有很多 M 字節(jié)。

“-/+ buffers/cache” 這一行提供了對已使用和空閑內(nèi)存明確的統(tǒng)計。Linux 用空閑內(nèi)存作為緩存，如果應(yīng)用程序需要，可以快速拿回去。所以應(yīng)該包含空閑內(nèi)存那一列，這里就是這么統(tǒng)計的。甚至有一個網(wǎng)站專門來介紹 Linux 內(nèi)存消耗的問題：linuxatemyram。

如果在 Linux 上使用了 ZFS 文件系統(tǒng)，則可能會更亂，因?yàn)楫?dāng)我們在開發(fā)一些服務(wù)的時候，ZFS 有它自己的文件系統(tǒng)緩存，而這部分內(nèi)存的消耗是不會在 free -m 這個命令中合理的反映的。顯示了系統(tǒng)內(nèi)存不足，但是 ZFS 的這部分緩存是可以被應(yīng)用程序使用的。

8. sar -n DEV 1

使用這個工具是可以檢測網(wǎng)絡(luò)接口的吞吐：rxkB/s 和 txkB/s，作為收發(fā)數(shù)據(jù)負(fù)載的度量，也是檢測是否達(dá)到收發(fā)極限。在上面這個例子中，eth0 接收數(shù)據(jù)達(dá)到 22 M 字節(jié)/秒，也就是 176 Mbit/秒（網(wǎng)卡的上限是 1 Gbit/秒）。

這個版本的工具還有一個統(tǒng)計字段： %ifutil，用于統(tǒng)計設(shè)備利用率（全雙工雙向最大值），這個利用率也可以使用 Brendan 的 nicstat 工具來測量統(tǒng)計。在這個例子中 0.00 這種情況就似乎就是沒有統(tǒng)計，這個和 nicstat 一樣，這個值是比較難統(tǒng)計正確的。

9. sar -n TCP，ETCP 1

這是對 TCP 關(guān)鍵指標(biāo)的統(tǒng)計，它包含了以下內(nèi)容：

active/s：每秒本地發(fā)起的 TCP 連接數(shù)（例如通過 connect（） 發(fā)起的連接）。

passive/s：每秒遠(yuǎn)程發(fā)起的連接數(shù)（例如通過 accept（） 接受的連接）。

retrans/s：每秒 TCP 重傳數(shù)。

這種主動和被動統(tǒng)計數(shù)通常用作對系統(tǒng)負(fù)載的粗略估計：新接受連接數(shù)（被動），下游連接數(shù)（主動）?？梢园阎鲃涌醋魇峭獠康?，被動的是內(nèi)部，但是這個通常也不是非常準(zhǔn)確（例如：當(dāng)有本地到本地的連接時）。

重傳是網(wǎng)絡(luò)或者服務(wù)器有問題的一個信號；可能是一個不可靠的網(wǎng)絡(luò)（例如：公網(wǎng)），或者可能是因?yàn)榉?wù)器過載了開始丟包。上面這個例子可以看出是每秒新建一個 TCP 連接。

10. top

top 命令包含了很多我們前面提到的指標(biāo)。這個命令可以很容易看出指標(biāo)的變化表示負(fù)載的變化，這個看起來和前面的命令有很大不同。

top 的一個缺陷也比較明顯，很難看出變化趨勢，其它像 vmstat 和 pidstat 這樣的工具就會很清晰，它們是以滾動的方式輸出統(tǒng)計信息。所以如果你在看到有問題的信息時沒有及時的暫停下來（Ctrl-S 是暫停， Ctrl-Q 是繼續(xù)），那么這些有用的信息就會被清屏。

Follow-on Analysis還有很多可以使用來深挖系統(tǒng)問題的命令和技術(shù)，可以看看 Brendan 在 2015 年講的 Linux 性能工具介紹 ，這里面講述了 40 多個命令，涵蓋了可觀測性，基準(zhǔn)測試，調(diào)優(yōu)，靜態(tài)性能調(diào)優(yōu)，分析和跟蹤等多個方面。

作者：helightxu，騰訊 IEG 開發(fā)工程師

編輯：hfy