一文讀懂什么是分布式流處理系統(tǒng)Kafka

Kafka是一個分布式流處理系統(tǒng)，流處理系統(tǒng)使它可以像消息隊(duì)列一樣publish或者subscribe消息，分布式提供了容錯性，并發(fā)處理消息的機(jī)制。

2017-12-12 標(biāo)簽：pythonkafka 6893 0

Kafka框架的工作原理及工作流程

Kafka在大數(shù)據(jù)技術(shù)生態(tài)當(dāng)中，以作為消息系統(tǒng)而聞名，面對活躍的流式數(shù)據(jù)，提供高吞吐量的服務(wù)，在實(shí)時大數(shù)據(jù)處理場景下，可以說是一大利器，國內(nèi)外大廠都有應(yīng)...

2021-01-15 標(biāo)簽：大數(shù)據(jù)kafka 5395 0

Rocket MQ存儲與Kafka存儲對比分析

Kafka單機(jī)超過64個隊(duì)列/分區(qū)，Load會發(fā)生明顯的飆高現(xiàn)象，隊(duì)列越多，load越高，發(fā)送消息響應(yīng)時間變長。Kafka分區(qū)數(shù)無法過多的問題，Rock...

2021-01-14 標(biāo)簽：存儲kafka 3468 0

Kafka架構(gòu)技術(shù)：Kafka的架構(gòu)和客戶端API設(shè)計(jì)

Kafka 給自己的定位是事件流平臺（event stream platform）。因此在消息隊(duì)列中經(jīng)常使用的 "消息"一詞，在 K...

2023-10-10 標(biāo)簽：控制器JAVAAPI 2629 0

監(jiān)控Kafka集群的常用的方法和工具介紹

JMX監(jiān)控：Kafka提供了JMX（Java Management Extensions）接口，可以通過JMX來監(jiān)控和管理Kafka集群。您可以使用JC...

2023-08-30 標(biāo)簽：監(jiān)控集群監(jiān)控kafka 2467 0

kafka設(shè)計(jì)原理的深度探討

Kafka簡介 Kafka是一種分布式的，基于發(fā)布/訂閱的消息系統(tǒng)。主要設(shè)計(jì)目標(biāo)如下： 以時間復(fù)雜度為O(1)的方式提供消息持久化能力，即使對TB級以上...

2020-10-08 標(biāo)簽：服務(wù)器異步通信kafka 2165 0

關(guān)于MQ的主流的消息中間件對比解析

RabbitMQ 類似有生產(chǎn)階段、存儲階段、消費(fèi)階段，相較 RabbitMQ 的架構(gòu)，增加了 NameServer 集群，橫向拓展能力較好。參考的 Ka...

2023-07-05 標(biāo)簽：中間件消息中間件kafka 1480 0

想要kafka好用你就得知道這些工具

工欲善其事，必先利其器。本文主要分享一下消息中間件kafka安裝部署的過程，以及我平時在工作中針對kafka用的一些客戶端工具和監(jiān)控工具。

2023-05-22 標(biāo)簽：配置kafka 1354 0

面試官：Kafka會丟消息嗎？

許多開發(fā)人員普遍認(rèn)為，Kafka 的設(shè)計(jì)本身就能保證不會丟失消息。然而，Kafka 架構(gòu)和配置的細(xì)微差別會導(dǎo)致消息的丟失。我們需要了解它如何以及何時可能...

2024-04-29 標(biāo)簽：架構(gòu)線程kafka 1203 0

Kafka為什么要拋棄ZooKeeper？

ZooKeeper 是一個開源的分布式協(xié)調(diào)服務(wù)框架，你也可以認(rèn)為它是一個可以保證一致性的分布式(小量)存儲系統(tǒng)。特別適合存儲一些公共的配置信息、集群的一...

2023-05-18 標(biāo)簽：控制器存儲系統(tǒng)kafka 1155 0

kafka基本原理詳解

今天浩道跟大家分享一篇關(guān)于kafka相關(guān)原理的硬核干貨，可以說即使你沒有接觸過kafka，也可以秒懂，一起看看！

2024-01-03 標(biāo)簽：Linuxpythonkafka 1056 0

如何保證kafka消息不丟失

如果在簡歷上寫了使用過kafka消息中間件，面試官大概80%的概率會問你："如何保證kafka消息不丟失？"反正我是屢試不爽。

2023-12-19 標(biāo)簽：代碼線程kafka 923 0