2016 - 2024

感恩一路有你

spark必须基于hadoop吗 Spark能代替Hadoop吗?

浏览量:2273 时间:2021-03-11 19:45:45 作者:admin

Spark能代替Hadoop吗?

从目前的发展来看,spark并不能完全取代Hadoop。

我们知道Hadoop由三个组件组成:yarn、HDFS和MapReduce,它们分别解决了yarn、HDFS和MapReduce三个问题。但是spark只能解决分布式计算的问题。与MapReduce需要频繁写入磁盘不同,spark重用内存,大大提高了计算效率。在分布式计算中,spark有可能取代MapReduce,但在资源调度和分布式存储中,spark是不可撼动的。

!:java基金会——大数据基金会(Linux系统管理,shell编程,Maven等)——Hadoop-Strum——Skad算法!一般来说,大数据的学习时间比学习java的时间短。大数据课程,包括大数据技术概论、海量数据高级分析语言、海量数据存储、分布式存储、海量数据分析、分布式计算、Linux、Hadoop、Scala、HBase、hive、spark等专业课程。如果你想完全学习大数据,这些课程是必不可少的。加米古大数据培训线下小班教学,大数据发展零基础课预测6月https://www.toutiao.com/i6684880291628057099/

学习spark和storm之前有必要学习hadoop吗?

Spark是一个基于内存的迭代计算框架,适用于需要多次操作特定数据集的应用程序。例如PageRank、K-means等算法非常适合内存迭代计算。spark的整个生态系统正在逐步改善。Graphx、sparksql、sparkstreaming、mllib,当spark拥有自己的数据仓库时,它将完全可以与Hadoop生态系统相媲美。

spark必须基于hadoop吗 spark入门 hadoop和spark关系

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。