伪分布式 hadoop完全分布式和伪分布式有什么不同？
hadoop完全分布式和伪分布式有什么不同？
首先回答您的问题：
Hadoop完全分布式：由三个或更多物理或虚拟机组件组成的集群。
Hadoop pseudo-distributed:a node
看了以上两点，相信大家已经明白了“在VM中安装更多unbuntu配置完全分布式，然后做实验”是完全可行的。事实上，我们通常也是这样做的。当然，我们可能需要您的计算机CPU和内存来支持您的计划。
一个建议：如果你想开发基于Hadoop的分布式程序，那么伪分布式就足够了。如果你想做很多其他的事情，比如玩cm、oozie和HBase，建议你安装多个虚拟机。
什么是集群，分布式，集中式，伪分布式？
将项目集中部署到同一台机器需要高性能的机器。通常，多台机器用于备份。否则，如果机器崩溃，整个项目将无法运行。雷格：就好像你要盖房子，你的房子是为一个人盖的。如果这个人生病或有事可做，没有合适的人来代替这个人，你就不能盖房子。R 2。分布式项目被分成几个部分，分别在不同的机器上运行。如果您想与集中式相比，您对机器的要求会更低。R 3。集群与集中式和分布式概念完全不同。Rdistribution必须是集群，但集群不一定是分布式的（例如：集中式多机备份）。集群只是一个与机器数量相关的概念。伪分布不是真正的分布。伪分发是把多态机器的任务放在一台机器上运行，例如：淘宝分成多个模块后，一个模块放在一台机器上运行。当多台机器同时运行时，速度很快。在一台机器上运行时，速度慢，多个模块不能并行处理。一个任务必须一个接一个地完成，其他任务只能等待。
什么是伪分布式？（hadoop中遇到的）？
Hadoop分为独立模式、伪分布式模式和完全分布式模式。当你说伪分布式的时候，你的意思是：在一台机器上，也就是说，作为一个namenode，一个datanode，或者一个job tracker，以及一个task tracker。在多台机器上没有真正的分布式计算，因此被称为“伪分布式”。
伪分布式的spark/mapreduce是只供用来学习的吗？
首先，MapReduce出现得更早。介绍了分布式大数据处理的基本思想。现在我在学习火花。Matei zaharia的毕业论文，即spark的介绍论文，已在CSDN上翻译成中文。
建议先学习MapReduce，主要是了解任务是如何执行的。都在网上。然后，spark学习应该关注于理解spark-to-SQL语句的执行机制。
不同的分布式框架有各自的优势和不同的业务场景。MapReduce可以更好地处理大量ETL服务，而spark则相对更侧重于机器学习。对于企业来说，如果这些业务能够在同一个集群上运行，就可以有效地降低成本。为了让不同的框架同时在同一个集群中运行，最重要的问题是如何分配资源。当没有纱线时，一个相对简单的方法是假设集群中有100台机器。我们将50台机器分配给spark，将其他50台机器分配给MapReduce。这似乎没什么问题。不过，如果我们每天只运行一个小时的MapReduce，其余大部分时间都在运行spark，那么一天就有23个小时，50台机器处于空闲状态，而spark的机器很可能有大量作业在队列中。这显然不是一种非常有效的使用集群的方法。
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
