我目前正在重做我们所有的数据库编排工作(ETL、备份、日常任务、报告编译等)
为此,我需要一个任务/作业编排器,我可以在其中定义任务依赖性、基于时间的任务、异步任务等。
我正在研究 celery 和基于流的编程技术,但我不确定这些是否适合我的用例。
我更多地关注一个可以支持所有这些东西的框架。有什么建议么?
我目前正在重做我们所有的数据库编排工作(ETL、备份、日常任务、报告编译等)
为此,我需要一个任务/作业编排器,我可以在其中定义任务依赖性、基于时间的任务、异步任务等。
我正在研究 celery 和基于流的编程技术,但我不确定这些是否适合我的用例。
我更多地关注一个可以支持所有这些东西的框架。有什么建议么?
可能为时已晚,但我想为可能遇到此问题的其他人提及Job runner。
从他们的 GitHub 存储库 README.rst 中:
Job-Runner 是一个类似 crontab 的工具,有一个很好的 web 前端用于管理和(实时)监控当前状态。
特征: