我当前的项目需要自动化和计划执行许多任务(复制文件、在新文件到达目录时发送电子邮件、执行分析作业等)。我的计划是为每个任务编写多个单独的 shell 脚本,但需要一个工作流编排/工作流管理工具。
我知道许多工作流程编排工具,例如 Airflow、Luigi、Azkaban,并且过去也使用过它们,但这些工具似乎是为 *nix 系统设计的,除非我弄错了,否则它们不支持 Windows。
有哪些好的工具和解决方案可以实现这一目标?
我当前的项目需要自动化和计划执行许多任务(复制文件、在新文件到达目录时发送电子邮件、执行分析作业等)。我的计划是为每个任务编写多个单独的 shell 脚本,但需要一个工作流编排/工作流管理工具。
我知道许多工作流程编排工具,例如 Airflow、Luigi、Azkaban,并且过去也使用过它们,但这些工具似乎是为 *nix 系统设计的,除非我弄错了,否则它们不支持 Windows。
有哪些好的工具和解决方案可以实现这一目标?
数据工程师的精彩指南https://github.com/pawl/awesome-etl
编辑显然,自从添加 gunicorn 以来,气流一直与 windows 不兼容。