kafka如何做延迟队列 日志采集系统flume和kafka有什么区别及联系？

日志采集系统flume和kafka有什么区别及联系？

flume和Kafka的一些功能是相同的，但总的来说，它们是完全不同的；它们的场景是不同的，但它们可以一起使用。

简而言之，flume是一个分布式日志收集系统，它从各种服务器收集日志并将其传输到指定的位置，如HDFS。

Kafka是一个分布式消息中间件，有自己的存储，提供推拉数据访问功能。

整个过程如下：

登录服务器<--flume-->kafka-->hdfs-->离线计算

登录服务器<--flume-->kafka-->storm

希望我的回答能对您有所帮助

如何设计一个MQ消息队列？

1. 在上图中定义消息发送和消耗的过程

2。为消息定义消息协议，如ActiveMQ、stomp、XMPP等。定义消息协议，定义消息队列需要满足的场景

是否要保证消息的可靠性，必要时要保证存储的高可用性

是否支持同步和异步消息

是否要保证消息的顺序

是否需要延迟消息要支持

很多开源的实现功能可以参考详细信息。例如，rocketmq是高度可靠的，Kafka是高吞吐量的，但不是高度可靠的。

kafka如何做延迟队列 kafka 延迟队列 kafka延时队列使用

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。