spark必须基于hadoop吗 hadoop与spark的区别是什么?
浏览量:1154
时间:2021-03-15 21:26:24
作者:admin
hadoop与spark的区别是什么?
谢谢你的邀请
!请看下面的图片:
狭义的Hadoop,也就是原始版本:只有HDFS map reduce
未来会出现很多存储、计算和管理框架。
如果我们比较它们,我们可以比较Hadoop map reduce和spark,因为它们是用于大数据分析的计算框架。
Spark有许多线路组件,它们更强大、更快。
Hadoop,Hive,Spark之间是什么关系?
过去,hive是用来建立数据仓库的,因此对hive管理的数据查询有很大的需求。Hive、shark和sparlsql可以查询Hive数据。Shark使用hive的SQL语法解析器和优化器,修改executor,使其物理执行过程在spark上运行;spark-SQL使用自己的语法解析器、优化器和executor,spark-SQL还扩展了接口,不仅支持hive数据查询,还支持多数据源的数据查询。
spark必须基于hadoop吗 大数据spark和hadoop spark是什么东西
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
下一篇
国外搜索引擎 日本亚马逊代购平台