2016 - 2024

感恩一路有你

kafka是干嘛的 日志采集系统flume和kafka有什么区别及联系?

浏览量:1155 时间:2021-03-15 14:08:32 作者:admin

日志采集系统flume和kafka有什么区别及联系?

flume和Kafka的一些功能是相同的,但总的来说,它们是完全不同的;它们的场景是不同的,但它们可以一起使用。

简而言之,flume是一个分布式日志收集系统,它从各种服务器收集日志并将其传输到指定的位置,如HDFS。

Kafka是一个分布式消息中间件,有自己的存储,提供推拉数据访问功能。

整个过程如下:

登录服务器<--flume-->kafka-->hdfs-->离线计算

登录服务器<--flume-->kafka-->storm

希望我的回答能对您有所帮助!从浅到深的原则,微信从官方账号的角度理解卡夫卡。卡夫卡于2011捐赠给阿帕奇基金会,拉夫的论文是在2013斯坦福大学出版的地下一致性算法中找到的,卡夫卡是在筏子之前出生的。当1/3节点不可用时,服务不可用。Kafka中维护的ISR(in-sync replica,同步副本)可以提供服务,即使副本不可用,只剩下领头羊

3:更大的数据吞吐量。Raft适用于强一致性

Kafka是由Apache软件基金会开发,Scala和Java编写的开源流处理平台。

Kafka有哪些好的例子可以用来快速入门?

在使用卡夫卡的过程中,主题的数量没有限制,但是主题的分区总数有一个上限。当达到上限时,用户将无法继续创建主题。

kafka是干嘛的 kafka是什么干什么用的 kafka的作用

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。