2016 - 2024

感恩一路有你

hadoop与spark比较 hadoop和大数据的关系?和spark的关系?

浏览量:1892 时间:2021-03-17 08:50:49 作者:admin

hadoop和大数据的关系?和spark的关系?

大数据其实是一个比较庞大和广泛的概念,Hadoop是一个比较完整的大数据处理的批量数据存储、计算和分析框架。Spark可以理解为一个内存计算框架。现在很多主流的大数据平台都是在Hadoop的基础上进行优化和再开发的,spark一般都集成到Hadoop中进行流数据处理spark streaming

一定要在Hadoop集群上。它的数据源是HDFS,它本质上是一个基于yarn的计算框架,就像Mr.

Hadoop与Spark的关系,Spark集群必须依赖Hadoop吗?

感谢您的邀请

!请看下面的图片:

狭义的Hadoop,也就是原始版本:只有HDFS map reduce

未来会出现很多存储、计算和管理框架。

如果我们比较它们,我们可以比较Hadoop map reduce和spark,因为它们是用于大数据分析的计算框架。

Spark有许多线路组件,它们更强大、更快。

hadoop与spark比较 hadoop与spark的区别与联系 hadoop到底能干什么

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。