kafka集群最少几个节点 如何为Kafka集群选择合适的Partitions数量？

如何为Kafka集群选择合适的Partitions数量？

感谢邀请回答这个问题。作为kafka的多年用户，这点还是很有使用感受的。

kafka每个数据流都要对应一个topic， 每个topic可以有多个parttion.每个parttion现只能被一个消费者消费.越多的partition 意味着越多的吞吐量。需要更多的文件句柄。如果消费者比较少，那更多的partition会浪费系统资源。从另一个角度上来说，越来越多会增加延时，会对实时性的数据读写产生不好的影响。

所以说恰当的分区数会对kafka的性能有着比较重要的影响。

kafka脱离了zookeeper可以集群吗？

问题1:kafka单纯只是脱离zookeeper可以吗？

zookeeper只是个服务注册中心，如果kafka可以找到替代品换掉zookeeper是没有问题的。

现有的服务器注册中心有很多比如淘宝就有自已研发的服务注册中心产品。

所以如果用其他的服务注册中心系统换掉zookeeper是可行的（事实上zookeeper作为服务注册中心功能性并不是很理想），比如它的状态检测并不能真实反应broker的状态（可连接就一定是状态ok吗？不是吧。）。

问题2:kafka脱离zookeeper为代表的服务注册中心可以吗？

不可以，kafka的集群管理的核心是zookeeper虽然它并不完美（甚至缺点很多）。但是没了zk，kafka是不可用的。所以没有服务注册中心的kafka是不可用的。

kafka的一致性为什么不替换成raft？

一：更早的起源时间

kafka是2011 年被捐献给 Apache 基金会，而raft论文是2013年由斯坦福大学发表的《In Search of an Understandable Consensus Algorithm》，kafka在raft之前诞生

二：更少的可容错副本数量。raft当有1/3个节点数目不可用时，服务不可用，kafka中维护的ISR（in-sync-replica），即便副本均不可用，只剩下Leader，也可以对外提供服务

三：更大的数据吞吐量。raft适合强一致性

kafka集群最少几个节点 kafka集群搭建详细步骤 kafka集群原理

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。