2016 - 2024

感恩一路有你

spark编程基础 为什么Spark要用Scala实现?

浏览量:1794 时间:2021-03-14 14:41:51 作者:admin

为什么Spark要用Scala实现?

1. 斯帕克和斯卡拉真是天作之合。RDD的许多思想都与Scala类似,如map、filter等高阶算子与Scala的概念表完全相同。用很短的

代码,可以实现多行Java函数;类似于FP中的不可变和惰性计算,RDD可以用分布式内存对象实现,同时可以实现流水线。Scala善于利用例如,设计的初衷包括对JVM的支持,因此可以很好地借鉴Java的生态功能;像spark,很多东西不是自己写的,但是可以直接借鉴,比如直接在yarn、mesos、EC2中部署,使用HDFS、S3,借用配置单元的SQL解析部分;

3。阿克卡也便于发展高效的网络通信。

为什么Spark要用Scala实现?

SBT更适合构建Scala项目,Maven更适合构建java项目。2对于spark中的API,Java和scala是不同的,但是差别不大。三。如果用Scala开发spark原型程序,可以使用spark-shell进行绘图,也可以直接使用spark-shell进行交互式实时查询。4scala代码的数量甚至会减少一个数量级,但使用scala的门槛相对较高。建议:使用Scala构建spark作业,因为spark本身是由SBT构建的。同时,利用Scala开发spark作业将有助于理解spark的实现机制。作者:egraldlo链接:

大数据中的Scala好掌握吗,自学可以吗?

学习大数据技术需要掌握Scala。

但是,在学习Scala之前,您最好在一定程度上了解java和任何函数式语言(Haskell、SML等),特别是在您可以在编程范式之间自由切换之后。

Scala不偏向大数据方向的科学研究。它被用于许多地方,如火花。

1,JVM基础,与Java完全兼容。对于坚实的java基础的学生,学习斯卡拉非常友好!2!在普通工具中,水槽和Hadoop是用java编写的,Scale和卡夫卡是Scala编写的。

所以对于想学习大数据的学生来说,Scala确实是最受推荐的。

作为一种相对较新的语言,Scala有一个混乱的社区。在scala社区中有许多不同的尝试,主要是Java和Haskell,以及actor和reactive编程。如果你还没有掌握一个成熟的编程范例,我认为你很可能买不起Scala。!当java编程基础很好的时候,学习Hadoop系统,然后安排学习Scala,然后学习Scale,卡夫卡等等。这个顺序更科学合理,更容易让大家掌握。

推荐书籍:Scala编程,Scala函数编程https://www.toutiao.com/i6543924910664712718/

spark编程基础 spark和scala的关系 spark编程基础scala版 pdf

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。