mapreduce在hadoop中的作用是什么 Hadoop生态系统及各模块的功能？
Hadoop生态系统及各模块的功能？
1.HDFS(Hadoop分布式文件系统)
HDFS是一个在Hadoop生态中提供分布式存储支持的系统，很多上层计算框架(Hbase，Spark等。)依靠HDFS存储。
(分布式计算模型)离线计算
什么是离线计算，其实就是非实时计算。
3.分布式资源管理器
纱线与纺织品。;的出现主要是为了解决原有Hadoop扩展性差，不支持多种计算模式的问题。
4.存储计算
Spark在内存中提供分布式计算能力，比传统的MapReduce大数据分析更高效、更快速。
5.分布式列存储数据库
Hbase继承了列存储的特点，非常适合数据的随机读写。其次，Hbase建立在HDFS之上，它内部管理的所有文件都存储在HDFS。这使得它具有高度的容错性和可扩展性，并支持Hadoop mapreduce编程模型。
6.数据仓库
7.Oozie(工作流调度程序)
Oozie是一个基于工作流引擎的调度器，它实际上是一个运行在Java Servlet容器(如Tomcat)中的JavaWeb应用程序，在其上可以运行诸如Hadoop 地图缩小和猪。
8.Sqoop和Pig
9.Flume(日志收集工具)
Flume将数据从产生、传输、处理到最终写入目标路径的过程抽象成数据流。在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持不同协议的数据采集。
10.Kafka(分布式消息队列)
Kafka是Apach
hadoop生态圈包含哪些系统？
Hadoop生态系统:
1.HDFS: Hadoop分布式文件系统，用来解决机器组存储数据的问题。
第一代Hadoop计算引擎分为两步:map和reduce。很好用，但是很繁琐。
3.spark:第二代计算引擎，模糊了map和reduce之间的界限，需要更少的磁盘读写。
4.pig:上面计算引擎的MapReduce程序很难写。与汇编语言相比，pig的描述更接近脚本。
配置单元是用sql描述的。将sql语言翻译成MapReduce程序。
6.Tez和spark:新一代计算引擎，可以满足低速数据处理的要求。
:流式计算平台。数据流和统计。
8.zookeeper:分布式访问协作系统
9 .纱:中央管理调度系统
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
