2016 - 2024

感恩一路有你

java基础知识点 hadoop和大数据的关系?和spark的关系?

浏览量:2879 时间:2021-03-16 19:30:07 作者:admin

hadoop和大数据的关系?和spark的关系?

首先,大数据只是一个概念。一个简单的类比可以说Hadoop是一种实现大数据分析的架构。其实,这与中国建设银行和中国银行的概念有些相似。中国建设银行是一种商业银行。在Hadoop之前,我们可以处理大数据。我们可以编写自己的程序来处理它。Java、Python等语言都可以根据处理来实现大数据,Hadoop是Java沉淀下来的架构,它周围有一个生态。所以很多人在谈到大数据的时候都会谈到Hadoop,Hadoop中有原生Apache、CDH、HDP等厂商的开源版本。

Apache spark是一个快速通用的计算引擎,专为大规模数据处理而设计。可以理解,它是Hadoop的一个补充功能。

Hadoop与Spark的关系,Spark集群必须依赖Hadoop吗?

它必须在Hadoop群集上。它的数据源是HDFS,它本质上是一个基于yarn的计算框架,就像Mr.

hadoop与spark的区别是什么?

感谢您的邀请

!请看下面的图片:

狭义的Hadoop,也就是原始版本:只有HDFS map reduce

未来会出现很多存储、计算和管理框架。

如果我们比较它们,我们可以比较Hadoop map reduce和spark,因为它们是用于大数据分析的计算框架。

Spark有许多线路组件,它们更强大、更快。

java基础知识点 hadoop与spark比较 hadoop与spark的区别与联系

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。