kafka和其他消息队列的区别 日志采集系统flume和kafka有什么区别及联系？
日志采集系统flume和kafka有什么区别及联系？
flume和Kafka的一些功能是相同的，但总的来说，它们是完全不同的；它们的场景是不同的，但它们可以一起使用。
简而言之，flume是一个分布式日志收集系统，它从各种服务器收集日志并将其传输到指定的位置，如HDFS。
Kafka是一个分布式消息中间件，有自己的存储，提供推拉数据访问功能。
整个过程如下：
登录服务器<--flume-->kafka-->hdfs-->离线计算
登录服务器<--flume-->kafka-->storm
希望我的回答能对您有所帮助
如何设计一个MQ消息队列？
1. 在上图中定义消息发送和消耗的过程
2。为消息定义消息协议，如ActiveMQ、stomp、XMPP等。定义消息协议，定义消息队列需要满足的场景
是否要保证消息的可靠性，必要时要保证存储的高可用性
是否支持同步和异步消息
是否要保证消息的顺序
是否需要延迟消息要支持
很多开源的实现功能可以参考详细信息。例如，rocketmq是高度可靠的，Kafka是高吞吐量的，但不是高度可靠的。
如何使用消息队列解决分布式事务？
有两种选择。
Scheme 1 Local message transaction table
生产者需要添加一个事务消息表。具体步骤如下：[1。生产者执行业务逻辑并将事务记录插入到消息表中。这两个操作在一个本地事务中
2。启动后台线程定期轮询消息表并将消息发送到消息队列
3。删除消息表中的消息，直到发送成功。
方案2需要消息队列支持，业务端提供回溯接口
1。生产端将准备好的消息发送到消息队列
2。在本地事务中，业务逻辑
3。根据执行结果确认或取消准备好的消息
4。消息队列将确保准备好的消息被确认或取消，并且消息队列将不断地向生产端请求执行结果，这要求生产端提供类似的回调函数。
在方案2中，消息队列取代了方案1中的消息表和后台线程轮询功能，但并非所有消息队列都支持此功能。支持Rocketmq。
方案1的开发工作量大，外部依赖性小
方案2的开发工作量小，但依赖于特定的消息队列。
kafka延迟队列如何实现？
kafka和其他消息队列的区别 php消息队列kafka kafka延迟消息队列
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
