sparkrdd5大特性 为什么Spark要用Scala实现?
浏览量:1216
时间:2021-03-14 12:57:41
作者:admin
为什么Spark要用Scala实现?
1. 斯帕克和斯卡拉真是天作之合。RDD的许多思想都与Scala类似,如map、filter等高阶算子与Scala的概念表完全相同。用很短的
代码,可以实现多行Java函数;类似于FP中的不可变和惰性计算,RDD可以用分布式内存对象实现,同时可以实现流水线。Scala善于利用例如,设计的初衷包括对JVM的支持,因此可以很好地借鉴Java的生态功能;像spark,很多东西不是自己写的,但是可以直接借鉴,比如直接在yarn、mesos、EC2中部署,使用HDFS、S3,借用配置单元的SQL解析部分;
3。阿克卡也便于发展高效的网络通信。
sparkrdd5大特性 spark多个rdd的连接 在spark中常用的rdd有哪些
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。