2016 - 2024

感恩一路有你

hadoop和python哪个好 Hadoop支持用python开发吗?还有哪些支持python的分布式计算系统框架?

浏览量:2214 时间:2021-03-15 16:16:25 作者:admin

Hadoop支持用python开发吗?还有哪些支持python的分布式计算系统框架?

Hadoop支持python。我的理解是,任务通过yarn分配到工作节点,并通过shell调用。这种方法比原生Mr速度慢,因此没有得到广泛的应用。

Spark应该是Python的友好框架。要说缺点,毕竟是Scala或Java风格的API,这对于Python是不够的。在使用了panda和numpy之后,我觉得spark的API是比较基本的。

此外,python建议您学习dask和芹菜。Dask基于numpy和panda进行封装,兼容大多数NP和PD接口。它还支持分布式和可视化界面。总的来说,这是个不错的选择。

作为一个分布式任务调度框架,cellery并不是专门为ETL设计的,所以它的性能比dask差。但我觉得作为一个生产体系,芹菜比较稳定。

Python和大数据有什么区别,学哪个以后好就业?

Python是一种新的编程语言,类似于C#,大数据是一种大规模的数据集,如海量图像。大数据技术是指获取、存储、分析和管理大数据的技术的总称。基于Python和tensorflow,可以对图像大数据进行处理和深度学习。

hadoop和python哪个好 hadoop与python的关系 python hadoop教程

版权声明:本文内容由互联网用户自发贡献,本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。