kafka手动维护offset 如何获取kafka某一topic中最新的offset？
如何获取kafka某一topic中最新的offset？
如果您使用的是0.9或更高版本，则可以使用最新的客户机消费者.seekToEnd() / 消费者地位（）可用于获取最新偏移量：${日志.dirs}/复制偏移量检查点
我来这里玩的时候，我什么都没做。我开始在各种网络上寻找技术信息，然后我把重点放在标题上。从寻找信息到交朋友。因为我觉得事情落后于时代，有人认为，是因为自己水平不高。只是在心里想，无法实现现实
JAVA面试如何保证消息不被重复消费？如何保证消息消费的幂等性？
请参阅文档https://pykafka.readthedocs.io/en/latest/index.html
如何利用pykafka远程消费zookeeper kafka集群python脚本？
有两种选择。
Scheme 1 Local message transaction table
生产者需要添加一个事务消息表。具体步骤如下：[1。生产者执行业务逻辑并将事务记录插入到消息表中。这两个操作在一个本地事务中
2。启动后台线程定期轮询消息表并将消息发送到消息队列
3。删除消息表中的消息，直到发送成功。
方案2需要消息队列支持，业务端提供回溯接口
1。生产端将准备好的消息发送到消息队列
2。在本地事务中，业务逻辑
3。根据执行结果确认或取消准备好的消息
4。消息队列将确保准备好的消息被确认或取消，并且消息队列将不断地向生产端请求执行结果，这要求生产端提供类似的回调函数。
在方案2中，消息队列取代了方案1中的消息表和后台线程轮询功能，但并非所有消息队列都支持此功能。支持Rocketmq。
方案1的开发工作量大，外部依赖性小
方案2的开发工作量小，但依赖于特定的消息队列。
kafka手动维护offset kafka消费指定分区 kafka消费指定数据
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
