spark运行jar包 python spark怎么打包jar？

python spark怎么打包jar？

我学习spark将近一年，在spark工作了一个多月。建议多练习，多用Scala。除非我熟悉Python，否则我使用pyspark。有许多环境隐患。例如，经常使用jar包。Scala和Java可以直接导入，但是Python不能，Java是用maven打包的，Scala是用SBT、Python打包的，您需要在集群上分别安装依赖项。建议在GitHub上建立集群模型或找docker compose直接安装集群。带环境，RDD操作，提交部署过程，学习如何入门

spark运行jar包 hadoop运行jar包 spark和yarn

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。