学python可以从事什么工作 Spark能代替Hadoop吗？

Spark能代替Hadoop吗？

根据现有的发展，目前spark还不能完全代替Hadoop。

我们知道Hadoop包含三个组件yarn，hdfs，MapReduce，分别对应解决三个方面的问题，资源调度(yarn)，分布式存储(hdfs)，分布式计算(mapreudce)。而spark只解决了分布式计算方面的问题，跟MapReduce需要频繁写磁盘不同，spark重复利用内存，大大提高了计算效率，在分布式计算方面spark大有取代MapReduce之势，而在资源调度，和分布式存储方面spark还无法撼动。

在hadoop和spark之间如何取舍？

一般来说，主流业界大数据技术Hadoop和Spark都会用到，在学习的时候，两个体系都会学习，先学习Hadoop，在学Spark。

Hadoop：

Apache开源组织的一个分布式基础框架，提供了一个分布式文件系统(HDFS)、分布式计算（MapReduce）及统一资源管理框架（YARN）的软件架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。

Spark：

专为大规模数据处理而设计的快速通用的计算引擎。用来构建大型的、低延迟的数据分析应用程序。可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等。

相关：Spark能代替Hadoop吗？

https://www.toutiao.com/i6540156962573648397/

学python可以从事什么工作 spark和hadoop的区别 hadoop安装详细步骤

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。