最近兩年，可觀測性比較火，各種大會、沙龍中經(jīng)常能見到這類主題，國內(nèi)也有公司專門從事可觀測性相關(guān)的業(yè)務(wù)，許多公司正在采用數(shù)據(jù)可觀測性工具預(yù)防線上故障、及時排除數(shù)據(jù)中心的問題，也有公司采用數(shù)據(jù)可觀測性工具構(gòu)建良好的可觀測性以開展混沌工程。

數(shù)據(jù)可觀察性不僅僅是監(jiān)控和記錄、收集指標，而且具有洞察力，能夠隨著時間跟蹤指標，解釋、理解跟蹤和監(jiān)視的數(shù)據(jù)以及在各種數(shù)據(jù)源之間創(chuàng)建的關(guān)系。而數(shù)據(jù)可觀察性工具允許組織通過使用集成的、單一來源的真實數(shù)據(jù)存儲來解決問題。這些工具使用自動化和人工智能技術(shù)來篩選大量看似不同的數(shù)據(jù)流，對其進行分析，并將結(jié)果集中并集成到一個統(tǒng)一的洞察數(shù)據(jù)庫（能揭示問題的本質(zhì)、真相）中。

隨著不同數(shù)據(jù)源數(shù)量的增長，企業(yè)必須提供其環(huán)境的總體視圖，并支持更快、更自動化的解決方案來識別和修復(fù)問題。今天數(shù)據(jù)可觀察性工具使企業(yè)能夠積極主動，而昨天，許多企業(yè)往往處在被動之中。

為什么選擇數(shù)據(jù)可觀測性開源工具？

企業(yè)有很多商業(yè)數(shù)據(jù)可觀測性工具可供選擇。商業(yè)工具在可伸縮性、自動化和支持方面具有一些關(guān)鍵優(yōu)勢。然而，數(shù)據(jù)可觀測性的開源工具允許團隊在沒有前期購買（獲得使用許可）成本的情況下試驗數(shù)據(jù)可觀察性功能，還可以更好地補充現(xiàn)有的數(shù)據(jù)工程工作流和工具。許多公司都有高度定制的可觀測性需求，那么結(jié)合內(nèi)部開發(fā)和開源資源通常是最容易滿足這些需求的。

開源平臺往往具有比商業(yè)選項更靈活的體系結(jié)構(gòu)，但開源平臺可能還需要更深入的業(yè)務(wù)知識和技能，以便隨著時間的推移定制和發(fā)展平臺。開源工具還允許企業(yè)試驗基本的數(shù)據(jù)可觀察性特性，以了解哪些功能提供了最大的價值，以及它們?nèi)绾窝a充現(xiàn)有的工作流。隨著時間的推移，人們更喜歡探索和構(gòu)建自己的數(shù)據(jù)可觀測性實踐，也進一步證明了：業(yè)務(wù)變化的需求和開源解決方案比商業(yè)工具提供了更多的靈活性。

但是，單一的開源數(shù)據(jù)可觀測性工具通常不具備對企業(yè)數(shù)據(jù)系統(tǒng)實現(xiàn)完整可觀測性所需的所有功能。一些工具有助于日志和度量數(shù)據(jù)收集，而其他工具則專門用于日志和事件跟蹤。類似地，有些工具擅長可視化，而另一些工具則有效地存儲事件和度量數(shù)據(jù)。企業(yè)通常必須結(jié)合使用這些工具中的一些來獲得可觀測性。

以下是該領(lǐng)域?qū)＜宜鶑娬{(diào)的六個用于設(shè)置數(shù)據(jù)可觀測性功能的頂級開源工具。這些開源工具都支持數(shù)據(jù)可觀測性實踐的關(guān)鍵方面，如日志和度量數(shù)據(jù)的收集、事件跟蹤或可觀測性數(shù)據(jù)的可視化。這些工具也有支持社區(qū)，借助社區(qū)來幫助實現(xiàn)這些工具并長期維護它們。我們可以將這些工具視為組件，然后我們根據(jù)需要，結(jié)合多個工具來實現(xiàn)工作數(shù)據(jù)可觀測性實踐。1. Fluentd

站點: https://www.fluentd.org/

文檔: https://docs.fluentd.org/

開源代碼: https://github.com/fluent

Fluentd是一個開源的數(shù)據(jù)收集器，它還可以作為統(tǒng)一的日志記錄層，以簡化數(shù)據(jù)收集。日志層為到多個數(shù)據(jù)源的連接提供了一個抽象層。它支持與數(shù)據(jù)源和流媒體服務(wù)的500多個集成，所以當(dāng)一個組織在許多不同的領(lǐng)域進行數(shù)據(jù)收集，管理員需要查看所有這些領(lǐng)域的數(shù)據(jù)以進行監(jiān)控和優(yōu)化時，它非常有用。 它使用可插拔的架構(gòu)，允許團隊將工具連接到新的資源。性能是其設(shè)計目標的關(guān)鍵標準。它可以在每個核心上每秒處理大約13000個事件，僅使用30- 40mb的內(nèi)存。它還廣泛使用JSON格式來簡化收集、過濾、緩沖和輸出日志的過程。

2. Loki

https://github.com/grafana/loki

https://grafana.com/docs/loki/

口號：like Prometheus, but for logs

Loki是一個通用日志聚合系統(tǒng)，它簡化了各種日志記錄過程，包括數(shù)據(jù)可觀測性。它有助于簡化跨各種應(yīng)用程序、數(shù)據(jù)工具和云服務(wù)存儲和查詢?nèi)罩镜母鞣N流程。 一個關(guān)鍵特性是能夠攝取任何格式的日志。它可以將所有數(shù)據(jù)存儲到持久對象存儲中，在需要時可以處理pb級的數(shù)據(jù)。Loki還可以將來自Prometheus、Grafana和Kubernetes等不同來源的指標引入到普通用戶體驗中。它是Opstrace建立在Vector基礎(chǔ)上并與Vector合作的另一個數(shù)據(jù)可觀測性工具。 Grafana實驗室負責(zé)維護項目，并為企業(yè)提供商業(yè)支持。

3. OpenTelemetry

https://github.com/open-telemetry

https://opentelemetry.io/docs/

OpenTelemetry（簡寫：OTel）提供了廣泛的數(shù)據(jù)捕獲、聚合和分析功能集合。它源于OpenCensus和OpenTracing的合并。它擁有一個由微軟、谷歌、Dynatrace等公司支持的大型社區(qū)。盡管它開始于應(yīng)用程序、性能和安全領(lǐng)域，但同樣的組件也可以應(yīng)用于數(shù)據(jù)可觀測性。 OpenTelemetry使入門變得快速簡單。數(shù)據(jù)工程師和開發(fā)人員可以使用系統(tǒng)提供的自動檢測包將檢測集成到他們的應(yīng)用程序和數(shù)據(jù)管道中。這些工具幫助企業(yè)以與供應(yīng)商無關(guān)的格式收集、處理和發(fā)布數(shù)據(jù)。這使企業(yè)不必支持和管理多種可觀測性數(shù)據(jù)格式。 OpenTelemetry對于需要支持多種語言和框架的數(shù)據(jù)工程團隊很有幫助。它使企業(yè)能夠使用統(tǒng)一的規(guī)范來傳輸遙測數(shù)據(jù)，從而降低應(yīng)用開銷。 4. Opstrace

https://gitlab.com/gitlab-org/opstrace

https://opstrace.com/docs

Opstrace是一個通用的可觀測性平臺，也支持數(shù)據(jù)可觀測性。它包括全面的安全功能、警報管理和收集集成從其他工具和服務(wù)收集數(shù)據(jù)。 Opstrace使入門變得非常簡單。Opstrace集群可以在幾分鐘內(nèi)建立并運行。如果企業(yè)已經(jīng)建立了Prometheus，就會變得更簡單。 企業(yè)可以在其谷歌Cloud或AWS帳戶中安裝Opstrace，將其用作功能齊全的基于云的可觀測平臺。與傳輸層安全(TLS)證書的集成簡化了讀寫數(shù)據(jù)的安全配置。 5. Prometheus

https://github.com/prometheus

https://prometheus.io/docs/introduction/overview/

Prometheus是一個開源的監(jiān)控工具，用于實現(xiàn)度量和觸發(fā)警報，這對數(shù)據(jù)可觀察性很有用。它包括分析時間序列數(shù)據(jù)并將其轉(zhuǎn)換為基于各種標準的派生時間序列的重要功能。它帶有PromQL查詢語言，用于動態(tài)生成圖形、表格和警報。它還支持各種可視化工具。

當(dāng)企業(yè)已經(jīng)安裝了Prometheus時，安裝Opstrace等其他工具就比較簡單了。企業(yè)只需要對Prometheus配置文件做一些小的修改，就可以將數(shù)據(jù)從Prometheus傳輸?shù)絆pstrace集群。 6. Vector

https://github.com/vectordotdev/vector

https://vector.dev/docs/

Vector是一個幫助企業(yè)創(chuàng)建日志和分析數(shù)據(jù)管道的工具，幫助收集、處理和分配數(shù)據(jù)應(yīng)用程序的跨度、軌跡、日志和指標到他們所選擇的工具。

它使用基于有向無環(huán)圖(Directed Acycling Graph，DAG)的方法來促進數(shù)據(jù)從一個階段到另一個階段的流動和轉(zhuǎn)換。企業(yè)可使用TOML、YAML或JSON文件等格式定義DAG。矢量重映射語言(VRL)可以幫助轉(zhuǎn)換可觀察性事件，并為進一步過濾和路由事件設(shè)置標準。

審核編輯 ：李倩