spark必须基于hadoop吗 Spark能代替Hadoop吗？

Spark能代替Hadoop吗？

从目前的发展来看，spark并不能完全取代Hadoop。

我们知道Hadoop由三个组件组成：yarn、HDFS和MapReduce，它们分别解决了yarn、HDFS和MapReduce三个问题。但是spark只能解决分布式计算的问题。与MapReduce需要频繁写入磁盘不同，spark重用内存，大大提高了计算效率。在分布式计算中，spark有可能取代MapReduce，但在资源调度和分布式存储中，spark是不可撼动的。

！：java基金会——大数据基金会（Linux系统管理，shell编程，Maven等）——Hadoop-Strum——Skad算法！一般来说，大数据的学习时间比学习java的时间短。大数据课程，包括大数据技术概论、海量数据高级分析语言、海量数据存储、分布式存储、海量数据分析、分布式计算、Linux、Hadoop、Scala、HBase、hive、spark等专业课程。如果你想完全学习大数据，这些课程是必不可少的。加米古大数据培训线下小班教学，大数据发展零基础课预测6月https://www.toutiao.com/i6684880291628057099/

学习spark和storm之前有必要学习hadoop吗？

Spark是一个基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用程序。例如PageRank、K-means等算法非常适合内存迭代计算。spark的整个生态系统正在逐步改善。Graphx、sparksql、sparkstreaming、mllib，当spark拥有自己的数据仓库时，它将完全可以与Hadoop生态系统相媲美。

spark必须基于hadoop吗 spark入门 hadoop和spark关系

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。