kafka无法消费数据解决 从kafka读取数据后，数据会自动删除吗？

从kafka读取数据后，数据会自动删除吗？

基于receiver的实现将使用kakfa的高级消费API。与所有其他接收器一样，接收到的数据将保存到执行器，然后sparkstreaming将启动作业来处理数据。

在默认配置中，如果出现故障，此方法将丢失数据。为了确保零数据丢失，我们需要启用wal（writeaheadlogs）。它将接收到的数据同步保存到分布式文件系统，如HDFS。因此，在发生错误时可以恢复数据。

使用两个步骤：1。添加依赖项：Spark streaming Kafka 2.10-1.3.0

2导入器g.apache.spark. 卡夫卡._

kafka无法消费数据解决 kafka从最新数据开始消费 kafka消费完数据就没有了吗

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。