2016 - 2024

感恩一路有你

生产者给rabbitmq推数据 如何设计一个MQ消息队列?

浏览量:2405 时间:2021-03-11 21:20:41 作者:admin

如何设计一个MQ消息队列?

1. 在上图中定义发送和使用消息的过程

2。首先定义消息协议,如ActiveMQ、stomp、XMPP等

3。定义消息协议,定义消息队列需要满足的场景

是否要保证消息的可靠性,必要时要保证存储的高可用性

是否要支持同步和异步消息

是否要保证消息队列例如rocketmq是高可靠性,卡夫卡是高吞吐量,但不高可靠性。

日志采集系统flume和kafka有什么区别及联系?

flume和Kafka的一些功能是相同的,但总的来说,它们是完全不同的;它们的场景是不同的,但它们可以一起使用。

简而言之,flume是一个分布式日志收集系统,它从各种服务器收集日志并将其传输到指定的位置,如HDFS。

Kafka是一个分布式消息中间件,有自己的存储,提供推拉数据访问功能。

整个过程如下:

登录服务器<--flume-->kafka-->hdfs-->离线计算

登录服务器<--flume-->kafka-->storm

希望我的回答能对您有所帮助

如何使用消息队列解决分布式事务?

有两种选择。

Scheme 1 Local message transaction table

生产者需要添加一个事务消息表。具体步骤如下:[1。生产者执行业务逻辑并将事务记录插入到消息表中。这两个操作在一个本地事务中

2。启动后台线程定期轮询消息表并将消息发送到消息队列

3。删除消息表中的消息,直到发送成功。

方案2需要消息队列支持,业务端提供回溯接口

1。生产端将准备好的消息发送到消息队列

2。在本地事务中,业务逻辑

3。根据执行结果确认或取消准备好的消息

4。消息队列将确保准备好的消息被确认或取消,并且消息队列将不断地向生产端请求执行结果,这要求生产端提供类似的回调函数。

在方案2中,消息队列取代了方案1中的消息表和后台线程轮询功能,但并非所有消息队列都支持此功能。支持Rocketmq。

方案1的开发工作量大,外部依赖性小

方案2的开发工作量小,但依赖于特定的消息队列。

redis怎么实现将消息队列持久化到数据库中?

Redis仅提供具有原子操作的高性能分布式队列实现。具体业务需要定制化。

您的需求实际上是一种畸形的生产者-消费者意识。

对于此类需求,主要目的是将请求与实际处理过程解耦。一般来说,请求者是异步通知的,这与是否使用redis关系不大。一般的实现方法是

将用户的请求封装成一个任务,然后将任务推送到redis队列,再推送到后端工人.php任务可以由多进程、多线程并发处理,处理结果可以回调给请求者。这里唯一的问题是任务的设计,它需要包含请求信息(请求内容、请求者ID等)

生产者给rabbitmq推数据 rabbit生产者和消费者放一起 生产者和消费者模式

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。