python分布式任务调度 分布式任务调度框架选型，如何选择一个合适的框架？

分布式任务调度框架选型，如何选择一个合适的框架？

首先，这样一个框架现在已经上市了。强烈建议不要重复制造车轮。

首先，我们将介绍几种主流技术。

Elastic job是当当网的开源分布式调度解决方案。它支持任务碎片化，能够充分利用资源。Elastic job有两个独立的子项目：Elastic job lite和Elastic job cloud。具体实现可以参考官方教程。总体架构如下。

弹性工作的特点：1。分布式调度。高可用性工作。切片任务执行。

此外，还有其他可用于比较的框架。例如TBSchedule是阿里巴巴的一个开源分布式调度框架，完全由Java实现，目前正在淘宝、阿里巴巴、支付宝、京东、汽车之家等应用。公开评论的开源XXL作业也是一种广泛使用的分布式调度任务。

目前，我已经使用弹性工作和XXL工作。两个功能都非常强大，后台管理也比较完善。开始很容易。能满足日常工作的需要。区别在于弹性作业依赖于ZK，而XXL作业不依赖于ZK，只依赖于数据库。

目前市场上应该还有一些其他的框架，但是以上都是比较主流的，你可以根据自己的需要来选择。记住不要反复造轮子。这需要很多时间来验证。它会让你远离深渊。

谢谢。我希望它能帮助你。如果你有什么问题，可以留言。我们一起讨论吧

Hadoop支持用python开发吗？还有哪些支持python的分布式计算系统框架？

Hadoop支持python。我的理解是，任务通过yarn分配到工作节点，并通过shell调用。这种方法比原生Mr速度慢，因此没有得到广泛的应用。

Spark应该是Python的友好框架。要说缺点，毕竟是Scala或Java风格的API，这对于Python是不够的。在使用了panda和numpy之后，我觉得spark的API是比较基本的。

此外，python建议您学习dask和芹菜。Dask基于numpy和panda进行封装，兼容大多数NP和PD接口。它还支持分布式和可视化界面。总的来说，这是个不错的选择。

作为一个分布式任务调度框架，cellery并不是专门为ETL设计的，所以它的性能比dask差。但我觉得作为一个生产体系，芹菜比较稳定。

python分布式任务调度 分布式任务调度框架java 分布式调度引擎

版权声明：本文内容由互联网用户自发贡献，本站不承担相关法律责任.如有侵权/违法内容,本站将立刻删除。