kafka创建消费组命令 从kafka读取数据后，数据会自动删除吗？
从kafka读取数据后，数据会自动删除吗？
基于receiver的实现将使用kakfa的高级消费API。与所有其他接收器一样，接收到的数据将保存到执行器，然后sparkstreaming将启动作业来处理数据。
在默认配置中，如果出现故障，此方法将丢失数据。为了确保零数据丢失，我们需要启用wal（writeaheadlogs）。它将接收到的数据同步保存到分布式文件系统，如HDFS。因此，在发生错误时可以恢复数据。
使用两个步骤：1。添加依赖项：Spark streaming Kafka 2.10-1.3.0
2导入器g.apache.spark. 卡夫卡学习大数据技术需要掌握Scala。
但是，在学习Scala之前，您最好在一定程度上了解java和任何函数式语言（Haskell、SML等），特别是在您可以在编程范式之间自由切换之后。
Scala不偏向大数据方向的科学研究。它被用于许多地方，如火花。
1，JVM基础，与Java完全兼容。对于坚实的java基础的学生，学习斯卡拉非常友好！2！在普通工具中，水槽和Hadoop是用java编写的，Scale和卡夫卡是Scala编写的。
所以对于想学习大数据的学生来说，Scala确实是最受推荐的。
作为一种相对较新的语言，Scala有一个混乱的社区。在scala社区中有许多不同的尝试，主要是Java和Haskell，以及actor和reactive编程。如果你还没有掌握一个成熟的编程范例，我认为你很可能买不起Scala。！当java编程基础很好的时候，学习Hadoop系统，然后安排学习Scala，然后学习Scale，卡夫卡等等。这个顺序更科学合理，更容易让大家掌握。
推荐书籍：Scala编程，Scala函数编程https://www.toutiao.com/i6543924910664712718/
大数据中的Scala好掌握吗，自学可以吗？
flume和Kafka的一些功能是相同的，但总的来说，它们是完全不同的；它们的场景是不同的，但它们可以一起使用。
简而言之，flume是一个分布式日志收集系统，它从各种服务器收集日志并将其传输到指定的位置，如HDFS。
Kafka是一个分布式消息中间件，有自己的存储，提供推拉数据访问功能。
整个过程如下：
登录服务器<--flume-->kafka-->hdfs-->离线计算
登录服务器<--flume-->kafka-->storm
希望我的回答能对您有所帮助！
kafka创建消费组命令 kafka启动命令 kafka查看消费者列表
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
