mapreduce大数据编程实践 mapreduce适合用迭代计算吗？

浏览量：4047 时间：2023-04-01 08:08:50 作者：采采

mapreduce适合用迭代计算吗？

Mapreduce不适合迭代计算(比如机器学习，图计算等。)、交互处理(数据挖掘)和流处理(点击日志分析)，中间结果需要保存到磁盘，必然会导致磁盘io操作，影响性能。

Spark将运算的中间数据存储在内存中，使得迭代计算效率更高，更适合重复计算。

在mapreduce作业中，只有一对M和R，而在spark作业中，可以有多个M和

MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行操作。MapReduce主要对数据执行两种操作:Map和Reduc

目前大数据方向的工作主要分为三个主要方向:平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

开始使用大数据需要学习以下知识点:

编程

Java编程是大数据学习的基础，也是大数据工程师最喜欢的编程工具。所以想要学好大数据，掌握Java基础是必不可少的。

命令

大数据开发通常在Linux环境下进行。如果想从事大数据开发相关工作，需要掌握Linux的基本操作命令。

3、Hadoop

Hadoop是大数据开发的重要框架，其核心是HDFS和MapReduce。另外需要掌握Hadoop集群，Hadoop集群管理，YARN等等。

4、蜂巢

动物园管理员

6、HBase

7、Redis

8、水槽

9、卡夫卡

10、标量

11、火花

Spark是专门为大规模数据处理设计的快速通用计算引擎，为管理各种数据集和数据源的大数据处理需求提供了全面统一的框架。

等等