spark有几种部署模式 伪分布式的spark/mapreduce是只供用来学习的吗？
伪分布式的spark/mapreduce是只供用来学习的吗？
首先，MapReduce出现得更早。介绍了分布式大数据处理的基本思想。现在我在学习火花。Matei zaharia的毕业论文，即spark的介绍论文，已在CSDN上翻译成中文。
建议先学习MapReduce，主要是了解任务是如何执行的。都在网上。我们应该关注spark的执行机制。
不同的分布式框架有各自的优势和不同的业务场景。MapReduce可以更好地处理大量ETL服务，而spark则相对更侧重于机器学习。对于企业来说，如果这些业务能够在同一个集群上运行，就可以有效地降低成本。为了让不同的框架同时在同一个集群中运行，最重要的问题是如何分配资源。当没有纱线时，一个相对简单的方法是假设集群中有100台机器。我们将50台机器分配给spark，将其他50台机器分配给MapReduce。这似乎没什么问题。不过，如果我们每天只运行一个小时的MapReduce，其余大部分时间都在运行spark，那么一天就有23个小时，50台机器处于空闲状态，而spark的机器很可能有大量作业在队列中。这显然不是一种非常有效的使用集群的方法。
大数据现在很火，如果想学大数据，应该去哪里培训比较好？
现在学习大数据的人越来越多，很多学生在报名上思之前都提出了关于大数据实践的问题，上思的咨询老师也回答了很多问题，比如大数据培训和学习是否可靠，如何选择大数据培训机构等等打开。今天，尚思将写一篇文章来解释大数据培训和学习。
很多想参与大数据技术工作的人都参加过大数据培训，但大数据培训真的可靠吗？现在无论是大数据培训还是其他学习，我们都称之为职业技能学习，这是以工作为导向的。但是，工作的标尺是看不见的，它无法量化标准，所以有大数据培训这种专业力量培养的好与坏的情况，这个时候我们需要擦亮眼睛。在练习之前，我们应该考虑以下问题：
1。你需要大数据培训吗
首先，如果你想自学大数据技术，你必须具备自学能力。自学能力是学习it技能的必要条件。如果自学能力不够，建议不要这样做。自律必须很强。我们必须严格要求自己。我们不应该让懒惰占便宜。我们应该有计划地学习。
2. 大数据培训能得到什么帮助
既然我们已经把钱花在了大数据培训和学习上，就一定要注意投入和产出。首先要看这些钱是否比较值钱。大数据培训机构能为我们提供什么帮助，我们能得到什么？例如，它可以为我们提供一个良好的学习环境，在学习过程中督促学习，提高学习效率，为我们提供答疑和教学，制定一套合适的学习计划。
3. 培训后是否能找到合适的工作
最重要的是参加大数据培训后是否能找到合适的工作，即培训后是否能学到满足企业需要的大数据技术知识。
在我们考虑了以上几点之后，我相信您已经对大数据是自学还是培训有了一定的了解。如果你还不明白，可以请教尚硅谷老师。
2020大数据学习路线图：
版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。
