chinese直男口爆体育生外卖, 99久久er热在这里只有精品99, 又色又爽又黄18禁美女裸身无遮挡, gogogo高清免费观看日本电视,私密按摩师高清版在线,人妻视频毛茸茸,91论坛 兴趣闲谈,欧美 亚洲 精品 8区,国产精品久久久久精品免费

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Logstash、Fluentd、Fluent Bit和Vector,誰才是開源日志收集最強王者?

馬哥Linux運維 ? 來源:馬哥Linux運維 ? 作者:馬哥Linux運維 ? 2023-05-28 09:16 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

企業(yè)無論是已經(jīng)使用了開源日志收集工具,還是準(zhǔn)備選擇一款或多款工具,都有必要了解日志收集工具的關(guān)鍵要求。這些要求包括:高數(shù)據(jù)吞吐量、可靠性、可擴展性、靈活性、安全性以及資源(CPU和內(nèi)存)消耗等。本文討論了市面上流行的幾款日志收集工具(包括 Logstash、Fluentd、Fluent Bit 和 Vector)及其主要特點。

1. Logstash

Logstash是最受歡迎的日志收集工具之一,它是 ELK(Elasticsearch/Logstash/Kibana)架構(gòu)的一部分。

Logstash 的主要優(yōu)勢:

● 處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。

● 支持更高的數(shù)據(jù)安全性,能夠匿名化或排除敏感字段。

● 支持?jǐn)?shù)百個插件,包括輸入、過濾和輸出等插件。過濾器插件執(zhí)行日志處理,比如聚合和解析。

雖然 Logstash 是一款可靠的日志收集工具,在處理日志數(shù)據(jù)方面有諸多選項,但如果內(nèi)存占用量小是個關(guān)鍵要求,本文介紹的其他日志收集工具可能更勝一籌。因為 Logstash 是用 Java 編寫的,所以需要 JVM 支持。如果企業(yè)打算從嵌入式設(shè)備和物聯(lián)網(wǎng)應(yīng)用程序收集日志,它不是最佳選擇。

2. Fluentd

Fluentd是一款日志收集工具,內(nèi)存占用量小,可以處理各種日志源和目的地。許多受支持的插件允許連接到多種類型的日志源和目的地。與其他日志收集工具一樣,F(xiàn)luentd 的典型日志源包括應(yīng)用程序、基礎(chǔ)設(shè)施和消息隊列平臺,而通常目的地是日志管理工具和存儲歸檔系統(tǒng)。

Fluentd 的主要優(yōu)勢:

● 支持許多日志源和目的地。

● 靈活、可擴展的解析選項,支持多種輸入格式。

● 擁有龐大的生態(tài)系統(tǒng),包括成百上千個插件,以及用Ruby自行編寫插件的功能。

● 支持 Apache 許可證,版本2.0。

● 供應(yīng)商中立(CNCF項目)。

如果企業(yè)需要中立的供應(yīng)商,F(xiàn)luentd 是不錯的選擇。它還經(jīng)常與 Kubernetes 和容器化環(huán)境一起使用。

3. Fluent Bit

Fluent Bit不僅是一款日志收集工具,還可以用作數(shù)據(jù)流處理工具,并充當(dāng)將日志數(shù)據(jù)轉(zhuǎn)發(fā)到 Fluentd 的運送工具。Fluent Bit 在 Kubernetes 集群等容器化環(huán)境中運行順暢。Fluent Bit 可以擴展并仍能節(jié)省資源,因為它占用的空間很小。雖然 Fluent Bit 經(jīng)常用在 Kubernetes 環(huán)境中,但它也可以部署在裸機服務(wù)器、虛擬機和嵌入式設(shè)備上。

Fluent Bit的主要優(yōu)勢:

● 輕量級設(shè)計,內(nèi)存占用量極?。ㄍǔ2坏?MB)。

● 易于擴展的架構(gòu)。

● 可插入式架構(gòu),有許多輸入、過濾器和輸出插件。

● 支持基于指標(biāo)和基于日志的有效負(fù)載。

● 支持通過安全的連接將日志發(fā)送到存儲后端。

● 使用 SQL,支持?jǐn)?shù)據(jù)流處理。

● 支持 Apache 許可證,版本2.0。

● 供應(yīng)商中立(CNCF項目)。

Fluent Bit 從眾多日志源收集日志和指標(biāo),并將它們發(fā)送到不同的目的地。Fluent Bit 真正大放異彩的地方在于嵌入式、邊緣及其他資源受限的環(huán)境,因為精簡的運行時環(huán)境結(jié)合眾多的輸入/輸出選項至關(guān)重要。

4. Vector

Vector是一款高性能的日志收集工具。與本文中的其他日志收集工具相比,這款產(chǎn)品比較新。

Vector 的主要優(yōu)勢:

● 高效的內(nèi)存/CPU消耗和高數(shù)據(jù)吞吐量。

● 良好的可靠性,正確性和交付方面有保證。

● 包括自定義 DSL,以一種安全、高性能的方式動態(tài)轉(zhuǎn)換數(shù)據(jù)。

● 支持基于指標(biāo)和日志的有效負(fù)載。

● 大量的輸入和輸出集成。

● 可以部署為代理或聚合器。

由于廣泛的部署選項、同時支持指標(biāo)和日志以及可用集成的數(shù)量,使 Vector 成為一種出色而靈活的選擇。由于 Vector 用 Rust 編寫,提供了內(nèi)存安全和效率保證,使其在其他現(xiàn)有工具中獨樹一幟。Vector 引入了單元測試框架,可以更輕松地維護復(fù)雜的日志收集工具拓?fù)洹?/p>

此外,Vector 的軟件組件竭力為傳送到目的地的日志和事件提供交付保證。Vector 的用戶還可以獲得 Vector 組件的代碼總體穩(wěn)定性方面的保證。無論在新環(huán)境中還是在舊環(huán)境中工作,它都值得認(rèn)真考慮。

結(jié) 語

很難判定哪一款工具主導(dǎo)市場,企業(yè)選擇合適的日志收集工具取決于其特定需求和要求。比如說,如果企業(yè)在為需要資源消耗少的物聯(lián)網(wǎng)應(yīng)用程序?qū)ふ胰罩臼占ぞ?,那么最好使?Vector 或 Fluent Bit,而不是 Logstash。如果企業(yè)看重供應(yīng)商的中立性,CNCF 支持的項目(比如 Fluentd 和 Fluent Bit)倒是不錯的選擇。仔細檢查性能、資源消耗、支持眾多輸入和輸出格式的靈活性、可擴展性、可靠性、供應(yīng)商鎖定和安全要求,可以幫助企業(yè)找到適合的日志收集工具。

鏈接:https://cloud.tencent.com/developer/article/2203090?areaSource=102001.16&traceId=UcMPrQSQJHV9ushXsHVE0


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 數(shù)據(jù)
    +關(guān)注

    關(guān)注

    8

    文章

    7292

    瀏覽量

    93386
  • 開源
    +關(guān)注

    關(guān)注

    3

    文章

    3879

    瀏覽量

    45218
  • Fluent
    +關(guān)注

    關(guān)注

    0

    文章

    25

    瀏覽量

    11937

原文標(biāo)題:Logstash、Fluentd、Fluent Bit 和 Vector,誰才是開源日志收集最強王者?

文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運維】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    魅族旗艦PRO 7對比vivo X9s評測:才是最強王者?

     TechWeb評測最近有款競技手游非常的火,必然就是非《王者榮耀》莫屬了,成為生活日常的家常便飯了。對于這類競技類手游,畫面和流暢度的體驗才是最重要的,可是現(xiàn)在這個游戲在綜合上對畫質(zhì)高幀率要求也
    發(fā)表于 08-17 13:57

    EFK63+kafka+logstash架構(gòu)解讀

    EFK63+kafka+logstash日志分析平臺集群
    發(fā)表于 08-15 11:35

    如何安裝logstash

    ELK實時日志分析平臺搭建(四)安裝logstash
    發(fā)表于 05-22 10:16

    Elasticsearch+Fluentd+Kafka數(shù)據(jù)的采集流程講述

    前言由于logstash內(nèi)存占用較大,靈活性相對沒那么好,ELK正在被EFK逐步替代.其中本文所講的EFK是Elasticsearch+Fluentd+Kfka,實際上K應(yīng)該是Kibana用于日志
    發(fā)表于 11-11 16:26

    三星VS華為,誰是你心中的最強王者?

    論安卓天下王者無疑在三星和華為之間,“爆炸門”事件給三星帶來了不小的沖擊。恰恰在這期間華為緊追而上,成為了比較受爭議的最強王者。到底更強,只能把目前在售的
    發(fā)表于 02-20 16:49 ?1154次閱讀

    三星S8和OPPOR11哪個好?才是真正的拍照王者

    三星S8和OPPOR11哪個好?才是真正的拍照王者。OPPOR11全新前置高清攝像頭,像素高達2000萬,帶來更細膩的畫質(zhì)表現(xiàn)。明亮的眼眸、每一縷發(fā)絲都能完美記錄。
    發(fā)表于 09-19 11:14 ?6418次閱讀

    基于DOCKER容器的ELK日志收集系統(tǒng)分析

    針對Docker容器集群中日志收集和集中處理的問題。本文采用Docker Swarm和Etcd實現(xiàn)容器的管理、服務(wù)發(fā)現(xiàn)以及調(diào)度,并為分布式系統(tǒng)提供支撐。使用主流的開源日志
    發(fā)表于 11-06 14:15 ?3次下載
    基于DOCKER容器的ELK<b class='flag-5'>日志</b><b class='flag-5'>收集</b>系統(tǒng)分析

    輕松搭建ELK日志分析系統(tǒng)

    Logstash是一個用來搜集、分析、過濾日志的工具。它支持幾乎任何類型的日志,包括系統(tǒng)日志、錯誤日志和自定義應(yīng)用程序
    的頭像 發(fā)表于 04-12 11:03 ?1.2w次閱讀
    輕松搭建ELK<b class='flag-5'>日志</b>分析系統(tǒng)

    Java日志框架中的王者

    不及Apache 的新一代日志框架 - Log4j 目前來看,Log4j2 就是王者,其他日志框架都不是對手 Log4j2簡介 Apache Log4j 2是 Log4j(1) 的升級版,比它的祖先
    的頭像 發(fā)表于 10-13 09:12 ?1748次閱讀

    Kubernetes如何在各個服務(wù)器上搜集日志后傳輸給Logstash

    ELK 是三個開源軟件的縮寫,分別表示:Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個 FileBeat,它是一個輕量級的日志
    的頭像 發(fā)表于 09-19 10:57 ?2560次閱讀

    vivo大數(shù)據(jù)日志采集Agent設(shè)計實踐

    通常,日志采集服務(wù)可以分為幾個部分(業(yè)界常見的架構(gòu)如下圖所示):日志采集Agent組件(常見的開源采集Agent組件有Flume、Logstash、Scribe等)、采集傳輸與存儲組件
    的頭像 發(fā)表于 11-29 15:39 ?1536次閱讀

    分布式實時日志:ELK的部署架構(gòu)方案

    該架構(gòu)與第一種架構(gòu)唯一不同的是:應(yīng)用端日志收集器換成了Filebeat,F(xiàn)ilebeat輕量,占用服務(wù)器資源少,所以使用Filebeat作為應(yīng)用服務(wù)器端的日志收集器,一般Filebea
    的頭像 發(fā)表于 01-08 09:56 ?1304次閱讀

    統(tǒng)一日志數(shù)據(jù)流圖

    Logstash可以結(jié)合Redis或者Rabbitmq、Kafka等消息中間件收集應(yīng)用服務(wù)器產(chǎn)生的日志,經(jīng)過簡單的過濾等操作后發(fā)送到ElasticSearch,ElasticSearch進行相關(guān)的索引處理,最后在Kibana進
    的頭像 發(fā)表于 08-21 15:00 ?698次閱讀
    統(tǒng)一<b class='flag-5'>日志</b>數(shù)據(jù)流圖

    納尼?自建K8s集群日志收集還能通過JMQ保存到JES

    作者:京東科技 劉恩浩 一、背景 基于K8s集群的私有化交付方案中,日志收集采用了ilogtail+logstash+kafka+es方案,其中ilogtail負(fù)責(zé)日志
    的頭像 發(fā)表于 09-30 14:45 ?644次閱讀

    如何在CentOS系統(tǒng)中部署ELK日志分析系統(tǒng)

    日志分析已成為企業(yè)監(jiān)控、故障排查和性能優(yōu)化的重要組成部分。ELK(Elasticsearch、Logstash 和 Kibana)堆棧作為一種強大的開源解決方案,提供了高效的日志
    的頭像 發(fā)表于 05-08 11:47 ?643次閱讀
    如何在CentOS系統(tǒng)中部署ELK<b class='flag-5'>日志</b>分析系統(tǒng)