2016 - 2024

感恩一路有你

hadoop 不适合docker docker怎样部署hadoop集群?

浏览量:2744 时间:2021-03-13 10:36:49 作者:admin

docker怎样部署hadoop集群?

Docker提供了隔离和打包Hadoop相关应用程序的完美方法。

该公司还研究了slider框架和docker如何协同工作以简化此类部署。目前,hortonworks的一个客户正在考虑在自己的数据平台上使用HDP来支持docker的方法。他们使用cloudbreak在云中的docker容器中部署Hadoop,并计划将自己的数据应用程序制作成docker映像,在yarn上运行。此外,由于其灵活性和兼容性,许多用户使用它在未知环境中进行部署。

做网站的话,是直接买一个独立服务器好,还是购买一个云主机?

从你的问题的数量级来看,你应该从0到1制作一个小网站。

如果是,建议购买虚拟机。

经过多年的发展,虚拟机业务已经相当成熟,价格和配置的选择也相当灵活。这非常适合从0构建网站的需要。早期的站点更多的是构建、调试、在线试用、不断试错。在这个过程中,虚拟机不需要投入太多的配置和带宽。够了就好了;从这个角度看,虚拟机的价格定位更灵活,性价比更高。

虚拟机由7niu、阿里云等专业供应商提供。这些供应商拥有成熟的监控、服务器运维服务。你为虚拟机支付的年费实际上包括了这部分服务。

另外,目前的虚拟机部署具有相对自动化的部署功能,以及完善的监控日志等功能,可以满足传统意义上虚拟机的所有需求。

小到12306,小到一两个人的小公司都采用虚拟机的方式来部署和运营自己的产品和网站。这是大势所趋,无数的案例证明了虚拟机的灵活性、资源管理和标准化服务的优势。

如何为Hadoop集群选择正确的硬件?

Hadoop是一个运行在集群环境中的大数据框架,包括分布式存储和分布式计算。

Hadoop流行的一个重要原因是它不需要很高的硬件,通常超过8g的内存可以运行Hadoop。许多研究Hadoop的程序员从部署伪集群开始,这表明Hadoop对硬件的要求非常低。但要想顺利运行Hadoop,其中一个关键点是增加内存和使用超过i5cpu。

Hadoop对内存和CPU的要求非常敏感。如果使用spark,建议内存大于32g,否则处理速度会受到很大影响,因为spark是基于内存的。

Hadoop是学习阶段的选择。商业大数据平台一般会在Hadoop的基础上进行打包,或者选择成熟的商业大数据平台。由于Hadoop的部署和操作维护比较麻烦,商业平台通常比较完善,使用起来也比较方便。

三台笔记本可以搭建hadoop集群吗?

docker的核心功能之一是能够将任何应用程序(包括Hadoop)打包到docker映像中。

本教程介绍使用docker在一台机器上快速构建多节点Hadoop群集的详细步骤。在发现当前Hadoop-on-docker项目中存在的问题之后,作者开发了一个几乎最小化的Hadoop映像

hadoop 不适合docker hadoop适合部署在docker吗 docker搭建hadoop的好处

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。