對于開發(fā)及運維人員來講，火焰圖是一個經典的定位性能問題的方法。利用火焰圖可以可視化系統(tǒng)資源（cpu占用、內存占用、調度、IO等）的占用情況，從而幫助技術人員快速定位資源異常使用的代碼級根因，或者觀察潛在性能劣化趨勢，進而優(yōu)化系統(tǒng)和應用的性能。

然而，現(xiàn)有流行的火焰圖工具往往存在一個或多個局限性，實際應用場景比較有限。因此，openEuler上的開源項目A-Ops中的gala-ops系列組件提供了適用于云原生的全棧持續(xù)性能監(jiān)測火焰圖。

傳統(tǒng)火焰圖在實際應用中的痛點

1.傳統(tǒng)火焰圖工具相對獨立，難以對接第三方插件或集成到運維系統(tǒng)，在應用中需要有經驗的開發(fā)人員手動結合其他調試工具分析定位。

2.由于開銷較大，火焰圖大多僅僅作為工具在開發(fā)和調試階段被使用，不能在生產環(huán)境中常態(tài)化部署。所以對于更常見的場景——即實際生產環(huán)境中的突發(fā)性的性能問題，火焰圖并不是定位問題的有效手段。

3.生產環(huán)境上中部署的應用類型錯綜復雜，語言紛繁多樣，而且很多應用是會調用不同語言的模塊。但是每種火焰圖工具往往只針對單一類型的語言。即使同時部署了不同語言的火焰圖觀測工具，所生成的火焰圖數(shù)據(jù)又難以統(tǒng)一，從系統(tǒng)角度難以觀測不同語言應用的性能占比。

4.傳統(tǒng)火焰圖往往只能觀測進程，線程粒度，是host時代的工具。對于云原生系統(tǒng)更關注的容器粒度，傳統(tǒng)火焰圖無法直觀區(qū)分。

gala-ops火焰圖的四大特性

1.易于部署和集成

gala-ops是針對云基礎設施灰度故障的應用級/系統(tǒng)級在線診斷工具，火焰圖探針stackprobe集成在其中的gala-gopher組件內。用戶只需一鍵安裝gala-gopher后，在配置文件中開啟或關閉火焰圖探針即可使用。具體的安裝部署說明可參考gala-gopher文檔。

gala-ops火焰圖默認會在本地生成svg格式的火焰圖。另外它也支持pyroscope和grafana等第三方運維平臺，僅需在配置文件中填上第三方插件的地址，火焰圖探針程序就會定期自動將火焰圖數(shù)據(jù)上傳到遠端以方便后續(xù)分析和實時監(jiān)測。

以下是gala-ops cpu火焰圖對接pyroscope和grafana的示例。通過選擇特定時間段，可以查看到該時間段的火焰圖，函數(shù)cpu占比排序，配合其他系統(tǒng)或應用指標可以很方便地發(fā)現(xiàn)和定位問題。

2.容器支持

云原生系統(tǒng)中，應用以容器形式部署。傳統(tǒng)火焰圖中在進行系統(tǒng)級觀測時，最多體現(xiàn)線程名稱，若不同容器示例內線程名相同，則調用棧會合并在一起無法區(qū)分，影響后續(xù)定位定界。gala-ops火焰圖探針能夠自動識別本機中的pod和container，并在圖里增加工作負載，容器和進程號信息。

若進程為工作負載/容器內進程，則分別以[Pod]和[Con]前綴標記pod和container，進程以[]前綴標記。

效果圖參見下一段附圖，可見通過查看調用棧底部第一層，可以明顯區(qū)分主機進程和容器進程。

3.全棧支持

gala-ops火焰圖支持編譯型和解釋型語言的混合代碼調用棧解析。目前已支持的語言包括C，C++，GO，Rust，JAVA。不同語言的應用，同一調用棧中不同語言的函數(shù)/方法，用戶態(tài)和內核態(tài)，均可在同一火焰圖中統(tǒng)一顯示。而且使用gala-ops火焰圖前不需要針對不同的語言做額外配置或重新部署應用，即開即用。

下圖顯示了一個實測生成的gala-ops cpu火焰圖，以右側的一個tomcat容器調用棧為例，從底層往頂層看調用關系：tomcat pod內包含一個container，containter中有一個pid為2434466的java進程，進程內cpu占用最多的是名為http-nio-8080-e的JVM線程，JVM調用了C庫函數(shù)thread_native_entry，再往上進入了Java方法java.lang.Thread::run，然后經過一系列的Java方法調用，最終走到了ksys_write系統(tǒng)調用，然后進入內核態(tài)函數(shù)。

這樣一個Java進程從k8s層->OS層->JVM底層實現(xiàn)->Java方法->內核態(tài)函數(shù)——完整的調用過程就可以通過gala-ops火焰圖追溯到。

4.低開銷

gala-ops火焰圖基于ebpf技術，精簡堆棧采樣邏輯，實現(xiàn)保持采樣精度（cpu采樣頻率10ms）的同時對被觀測應用性能影響很?。ㄒ话阍?%左右）。因此，大規(guī)模生產環(huán)境中也可以持續(xù)開啟gala-ops火焰圖以實時觀測應用性能，這樣即使出現(xiàn)應用或系統(tǒng)故障，無需事后重現(xiàn)問題，通過gala-ops火焰圖可以回溯以往任意時刻的系統(tǒng)狀態(tài)。

我們測試了開關cpu火焰圖對不同應用的性能影響：對于本身性能中等，吞吐量中等的應用，例如tomcat，tps劣化在1%以下；對于本身性能較高，吞吐量大的應用，例如kafka，tps劣化在2%以下。結果如下：

對比開關cpu火焰圖探針對tomcat性能的影響：

對比開關cpu火焰圖探針對kafka寫入MQ消息性能的影響：

gala-ops火焰圖具有易于部署和集成，容器支持，全棧支持，低開銷等特性，使得開發(fā)者和維護者無論在開發(fā)環(huán)境還是生產環(huán)境均可通過火焰圖的形式預測潛在問題和定位已發(fā)生問題。

功能的持續(xù)完善

目前gala-ops火焰圖已經支持cpu占用，內存泄漏兩種類型火焰圖，后續(xù)還會加入對其他系統(tǒng)資源的觀測，例如調度、網絡IO、磁盤IO等。此外，對其他語言應用的支持也在持續(xù)開發(fā)中。

審核編輯：劉清