2016 - 2024

感恩一路有你

spark必须基于hadoop吗 在hadoop和spark之间如何取舍?

浏览量:2632 时间:2021-03-16 21:19:00 作者:admin

在hadoop和spark之间如何取舍?

一般来说,Hadoop和spark是主流行业的大数据技术。学习时,两个系统都会学习,先学习Hadoop,再学习spark。

Apache开源组织的分布式基础设施提供了分布式文件系统(HDFS)、分布式计算(MapReduce)和统一资源管理框架(yarn)的软件体系结构。用户可以在不了解分布式系统的基本细节的情况下开发分布式程序。

为大规模数据处理设计的快速通用计算引擎。用于构建大型、低延迟的数据分析应用程序。它可以用来完成各种操作,包括SQL查询、文本处理、机器学习等。

https://www.toutiao.com/i654015696262573648397/

为什么还有那么多人用SVN?

让我们从结果开始:Git在某些情况下优于SVN,但它不能取代SVN

第一轮:Git是一个分布式版本控制系统,它可以更适合没有固定“服务器”的研发人员。Svn是一个具有固定服务器的集中式版本控制系统。但我认为,在某些情况下,分布式管理并不一定比集中式管理好,所以这一轮更为公平。

第2轮:[git的分支非常易于使用,而且非常强大。SVN的分支是一小块鸡排。SVN的分支是svncopy,它复制一个完整的项目。在这一轮中,GIT具有明显的优势。

第三轮:

提交、更新或合并代码时经常报告错误。Git的提示非常“周到”,可以很好地解决错误。SVN的提示有点不满意。Git在这一轮中仍然有优势。

第4轮:

SVN对目录具有良好的权限控制。它可以根据目录进行更新和提交,这有时很有用。Git无法控制目录的权限。SVN的优势在这一轮是显而易见的。

例如:

我们公司的研发人员使用git,艺术和产品使用SVN。艺术和产品通常将需求和资源放入SVN,SVN可以根据目录而不是整个项目进行下载。而SVN在windows系统中有一个非常著名的乌龟SVN软件,有一个中文版本,使用起来非常方便。

spark必须基于hadoop吗 大数据spark和hadoop hadoopspark什么意思

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。