2016 - 2024

感恩一路有你

Hive应用场景 Hadoop大数据框架的发展历程?

浏览量:1266 时间:2023-07-22 19:32:39 作者:采采

Hadoop大数据框架的发展历程?

Hadoop的主要发展历程:

2008年1月,Hadoop成为Apache的顶级项目。

2008年6月,Hadoop的第一个SQL框架Hive成为Hadoop的子项目。

2009年7月,MapReduce和Hadoop分布式文件系统(HDFS)成为Hadoop项目的独立子项目。

2009年7月,Avro和Chukwa成为Hadoop新的子项目。

2010年5月,Avro脱离Hadoop项目,成为Apache的顶级项目。

2010年5月,HBase脱离Hadoop项目,成为Apache的顶级项目。

2010年9月,Hive脱离Hadoop,成为Apache的顶级项目。

2010年9月,Pig脱离Hadoop,成为Apache的顶级项目。

2010 -2011年,扩展后的Hadoop社区忙于构建大量新组件(Crunch、Sqoop、Flume、Oozie等。)来拓展Hadoop的使用场景和可用性。

2011年1月,ZooKeeper脱离Hadoop,成为Apache的顶级项目。

2011年12月,Hadoop 1 . 0 . 0版本发布,标志着Hadoop在生产上已经初具规模。

2012年5月,Hadoop版本2.0.0-alpha发布,这是Hadoop-2.x系列的第一个版本(alpha)。相比之前的Hadoop-1.x系列,Hadoop-2.x版本中加入了YARN,YARN成为了Hadoop的一个子项目。

2012年10月,Impala加入Hadoop生态系统。

2013年10月,Hadoop 2 . 0 . 0版本发布,标志着Hadoop正式进入MapReduce v2.0时代。

2014年2月,Spark开始取代MapReduce成为Hadoop的默认执行引擎,成为Apach

大数据很难学嘛,我转行想要学习it技术,有大神指点一下嘛?

作为一名教育工作者,我也是大数据方向的研究生。我来回答这个问题。

首先,大数据的知识体系依然庞大,不仅知识量大,而且有一定的难度。所以,我并不渴望学习。想有更好的学习体验,就要注重学习的系统性,给自己创造更好的交流和实践场景。

大数据专业是一个新专业。到目前为止,只有两组本科生进入就业市场,整体就业表现良好。在大数据领域,不仅工作岗位多,薪资也相当可观。很多毕业生毕业的时候会拿到多个offer,选择空间还是比较大的。与本科生相比,研究生的就业表现更为突出。很多同学能进一线工厂,岗位主要集中在开发岗和算法岗。

学习大数据要结合自身的知识基础和发展规划。对于本科生来说,可以侧重发展方向。一方面是开发方向的岗位多,另一方面是开发岗位的竞争并不激烈,开发岗位的人才需求类型也是多元化的。如果选择开发方向的话,要注重编程语言的学习,以及大数据平台的相关知识,这样才能在基于大数据平台的行业场景中完成一些开发任务。

如果你有很好的数学和统计基础,也可以考虑往算法岗方向发展。相比开发岗,算法岗竞争激烈,你要有更多的积累。根据历史经验,如果有研究生学历,会更适合往算法岗方向发展,就业竞争力更强。

大数据整体学习周期比较长。在学习的过程中,一定要注重实践。大数据技术入门后,建议先找实习岗位,这样也会给自己营造一个交流和实践的场景。

本人从事教育科研多年。目前我是一名计算机专业的研究生。我的主要研究方向是大数据和人工智能。我会陆续写一些互联网技术方面的文章,有兴趣的朋友可以关注我。相信会有所收获。

如果你对互联网,大数据,人工智能,或者考研有问题,可以私信我!

大数据 Hadoop 方向 研究生 场景

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。