hadoop能用python开发吗 Hadoop支持用python开发吗？还有哪些支持python的分布式计算系统框架？

Hadoop支持用python开发吗？还有哪些支持python的分布式计算系统框架？

Hadoop支持python。我的理解是，任务通过yarn分配到工作节点，并通过shell调用。这种方法比原生Mr速度慢，因此没有得到广泛的应用。

Spark应该是Python的友好框架。要说缺点，毕竟是Scala或Java风格的API，这对于Python是不够的。在使用了panda和numpy之后，我觉得spark的API是比较基本的。

此外，python建议您学习dask和芹菜。Dask基于numpy和panda进行封装，兼容大多数NP和PD接口。它还支持分布式和可视化界面。总的来说，这是个不错的选择。

作为一个分布式任务调度框架，cellery并不是专门为ETL设计的，所以它的性能比dask差。但我觉得作为一个生产体系，芹菜比较稳定。

hadoop能用python开发吗 hadoop一般用python还是java python和hadoop的关系

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。