2016 - 2024

感恩一路有你

sparkrdd5大特性 为什么Spark要用Scala实现?

浏览量:1216 时间:2021-03-14 12:57:41 作者:admin

为什么Spark要用Scala实现?

1. 斯帕克和斯卡拉真是天作之合。RDD的许多思想都与Scala类似,如map、filter等高阶算子与Scala的概念表完全相同。用很短的

代码,可以实现多行Java函数;类似于FP中的不可变和惰性计算,RDD可以用分布式内存对象实现,同时可以实现流水线。Scala善于利用例如,设计的初衷包括对JVM的支持,因此可以很好地借鉴Java的生态功能;像spark,很多东西不是自己写的,但是可以直接借鉴,比如直接在yarn、mesos、EC2中部署,使用HDFS、S3,借用配置单元的SQL解析部分;

3。阿克卡也便于发展高效的网络通信。

sparkrdd5大特性 spark多个rdd的连接 在spark中常用的rdd有哪些

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。