2016 - 2024

感恩一路有你

kafka手动提交偏移量 JAVA面试如何保证消息不被重复消费?如何保证消息消费的幂等性?

浏览量:1112 时间:2021-03-12 13:46:28 作者:admin

JAVA面试如何保证消息不被重复消费?如何保证消息消费的幂等性?

我没事,来这里玩,开始在各种网络上寻找技术信息,之后以“头条”为主。从寻找信息到交朋友。因为我觉得事情落后于时代,有人认为,是因为自己水平不高。只是在心里想,无法实现现实

如何获取kafka某一topic中最新的offset?

如果您使用的是0.9或更高版本,则可以使用最新的客户机消费者.seekToEnd() / 消费者地位()可用于获取最新偏移量:${日志.dirs}/复制偏移检查点有两种方案。

Scheme 1 Local message transaction table

生产者需要添加一个事务消息表。具体步骤如下:[1。生产者执行业务逻辑并将事务记录插入到消息表中。这两个操作在一个本地事务中

2。启动后台线程定期轮询消息表并将消息发送到消息队列

3。删除消息表中的消息,直到发送成功。

方案2需要消息队列支持,业务端提供回溯接口

1。生产端将准备好的消息发送到消息队列

2。在本地事务中,业务逻辑

3。根据执行结果确认或取消准备好的消息

4。消息队列将确保准备好的消息被确认或取消,并且消息队列将不断地向生产端请求执行结果,这要求生产端提供类似的回调函数。

在方案2中,消息队列取代了方案1中的消息表和后台线程轮询功能,但并非所有消息队列都支持此功能。支持Rocketmq。

方案1的开发工作量大,外部依赖性小

方案2的开发工作量小,但依赖于特定的消息队列。

kafka手动提交偏移量 kafka和rabbitmq的优缺点 kafka手动维护offset

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。