2016 - 2024

感恩一路有你

kafka集群双活 kafka的一致性为什么不替换成raft?

浏览量:1558 时间:2021-03-11 04:44:06 作者:admin

~!1:卡夫卡在2011捐赠给阿帕奇基金会,拉夫的论文是在寻找一个潜在的共识算法,由斯坦福大学在2013出版,卡夫卡出生在RAFT之前。当1/3节点不可用时,服务不可用。Kafka中维护的ISR(in-sync replica,同步副本)可以提供服务,即使副本不可用,只剩下领头羊

3:更大的数据吞吐量。Raft适用于强一致性

flume和Kafka有一些相同的功能,但总的来说,它们有很大的不同;它们的场景不同,但可以一起使用。

简而言之,flume是一个分布式日志收集系统,它从各种服务器收集日志并将其传输到指定的位置,如HDFS。

Kafka是一个分布式消息中间件,有自己的存储,提供推拉数据访问功能。

整个过程如下:

登录服务器<--flume-->kafka-->hdfs-->离线计算

登录服务器<--flume-->kafka-->storm

希望我的回答能对您有所帮助

kafka的一致性为什么不替换成raft?

感谢您邀请我回答此问题。作为卡夫卡多年的使用者,我对使用卡夫卡的感觉还是很好的。

卡夫卡的每个数据流应该对应一个主题,每个主题可以有多个部分。现在每个零件只能由一个消费者消费。更多的分区意味着更多的吞吐量。需要更多的文件句柄。如果使用者较少,则更多的分区将浪费系统资源。从另一个角度看,越来越多的延迟将增加,这将对实时数据读写产生不利影响。

因此,适当的分区数量将对Kafka的性能产生重要影响。

kafka集群双活 docker部署kafka集群 kafka集群原理

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。