hadoop搭建集群 如何为Hadoop集群选择正确的硬件？

如何为Hadoop集群选择正确的硬件？

Hadoop是一个运行在集群环境下的大数据框架，包含分布式存储和分布式计算两个大的部分。

Hadoop之所以流行一个重要原因是它对硬件的要求不高，通常8G以上的内存就可以运行Hadoop了。很多学习Hadoop的程序员都是从部署伪集群开始的，可见Hadoop对硬件的要求非常低。但是要想流畅运行Hadoop一个重点就是加大内存、使用i5以上的cpu。

Hadoop对内存和cpu的要求比较敏感，如果使用Spark那么内存推荐在32G以上，否则处理速度会受到很大影响，因为Spark是基于内存进行运算的。

Hadoop是学习阶段的选择，通常商用大数据平台都会在Hadoop基础上做封装，或是选用成熟的商用大数据平台。因为Hadoop部署和运维都比较麻烦，商用平台通常都会做的比较完善和方便使用。

hadoop搭建集群 分布式集群部署 hadoop集群管理工具

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。