2016 - 2024

感恩一路有你

kafka生产者参数配置 日志采集系统flume和kafka有什么区别及联系?

浏览量:1708 时间:2021-03-12 21:25:32 作者:admin

日志采集系统flume和kafka有什么区别及联系?

flume和Kafka的一些功能是相同的,但总的来说,它们是完全不同的;它们的场景是不同的,但它们可以一起使用。

简而言之,flume是一个分布式日志收集系统,它从各种服务器收集日志并将其传输到指定的位置,如HDFS。

Kafka是一个分布式消息中间件,有自己的存储,提供推拉数据访问功能。

整个过程如下:

登录服务器<--flume-->kafka-->hdfs-->离线计算

登录服务器<--flume-->kafka-->storm

希望我的回答能对您有所帮助

如何搭建kafka?该如何学习kafka?

百度需要一个地方来存储元信息。Zookeeper也是分布式的,这对于配置管理来说是更好的。所以我用了它。

没有zookeeper,我们还需要一种机制来存储元数据和交换集群信息。

卡夫卡的官方文件有说明。Zookeeper是解决分布式一致性问题的工具。

至于Kafka为什么使用ZK,您应该首先了解ZK作为分散集群模式的作用。

消费者需要知道哪些生产者(对于消费者来说,卡夫卡是生产者)是可用的。

如果没有ZK,消费者怎么知道?如果每个消费者在消费之前都尝试连接到生产者,以测试连接是否成功,那么效率问题如何解决。

因此,卡夫卡需要ZK,卡夫卡的设计依赖于ZK。

kafka生产者参数配置 kafka多个生产者同时生产 kafka配置文件

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。