2016 - 2024

感恩一路有你

kafka集群原理 如何利用pykafka远程消费zookeeper kafka集群python脚本?

浏览量:2167 时间:2021-03-12 22:56:50 作者:admin

如何利用pykafka远程消费zookeeper kafka集群python脚本?

请参阅文档https://pykafka.readthedocs.io/en/latest/index.html

怎么查看kafka集群中所有broker节点?

kafka脱离了zookeeper可以集群吗?

问题1:Kafka刚刚与zookeeper分离了吗?

Zookeeper只是一个服务注册表。如果卡夫卡能找到一个替代者,更换动物园管理员就没问题了。

有许多现有的服务器注册中心。比如淘宝有自己的服务注册中心产品。

因此,用其他服务注册系统代替zookeeper是可行的(实际上,zookeeper作为服务注册的功能并不理想)。例如,它的状态检测不能真实反映broker的状态(如果可以连接,可以吗?不

问题2:卡夫卡从zookeeper代表的服务注册中心免费吗?

不,Kafka集群管理的核心是zookeeper,尽管它并不完美(甚至有许多缺点)。但如果没有ZK,卡夫卡是不可用的。因此没有服务注册的Kafka是不可用的。

1!卡夫卡在2011被捐赠给Apache基金会,而RAFT的论文是在寻找一个潜在的一致算法,由斯坦福大学在2013出版,卡夫卡出生在RAFT之前。当1/3节点不可用时,服务不可用。Kafka中维护的ISR(in-sync replica,同步副本)可以提供服务,即使副本不可用,只剩下领头羊

3:更大的数据吞吐量。筏适合强一致性

谢谢邀请我回答这个问题。作为卡夫卡多年的使用者,我对使用卡夫卡的感觉还是很好的。

卡夫卡的每个数据流应该对应一个主题,每个主题可以有多个部分。现在每个零件只能由一个消费者消费。更多的分区意味着更多的吞吐量。需要更多的文件句柄。如果使用者较少,则更多的分区将浪费系统资源。从另一个角度看,越来越多的延迟将增加,这将对实时数据读写产生不利影响。

因此,适当的分区数量将对Kafka的性能产生重要影响。

kafka集群原理 kafka集群搭建 docker部署kafka集群

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。