java如何解析json数据 spark怎么处理kafka中的json的数据？

spark怎么处理kafka中的json的数据？

构造函数是KafkaUtils.createDstream创建（SSC，[ZK]，[consumer group ID]，[per topic，partitions]）使用Kafka高级使用者API使用接收器接收数据。对于所有接收器，接收到的数据将保存在spark executors中，然后通过spark Streaming启动一个作业来处理数据，默认情况下这些数据将丢失。它可以启用存储在HDFS上的wal-log

spark是一个工具，而深度学习是一种解决问题的策略。如果做大数据分析，至少要熟练使用一种工具，深入了解常用的算法。对于大数据分析，您不需要在代码级别和架构级别熟悉spark。因为它只是一个工具，你可以熟练地使用它。如果主题有很好的编程基础，一个月就足够学好SPARKSQL和SPARKML了。算法学习需要花费更多的精力。但如果受试者想学习深度学习，则不建议学习spark。由于目前常用的CNN、RNN等模型通常使用GPU代替CPU进行计算，而spark是一种内存计算框架，主要在CPU上完成计算，因此计算效率不如GPU高。因此，如果将深度学习用于大数据分析，则可以使用tensorflow和其他框架。

java如何解析json数据 如何解析json数据 spark读取json数据

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。