惰性求值是什么意思 为什么Spark要用Scala实现?
浏览量:3166
时间:2021-03-16 05:36:15
作者:admin
为什么Spark要用Scala实现?
1. 斯帕克和斯卡拉真是天作之合。RDD的许多思想都与Scala类似,如map、filter等高阶算子与Scala的概念表完全相同。用很短的
代码,可以实现多行Java函数;类似于FP中的不可变和惰性计算,RDD可以用分布式内存对象实现,同时可以实现流水线。Scala善于利用例如,设计的初衷包括对JVM的支持,因此可以很好地借鉴Java的生态功能;像spark,很多东西不是自己写的,但是可以直接借鉴,比如直接在yarn、mesos、EC2中部署,使用HDFS、S3,借用配置单元的SQL解析部分;
3。阿克卡也便于发展高效的网络通信。
版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。