1

我以前一直Netflix Conductor用作工作流编排,Apache Airflow对我来说是新的。在 Conductor 中,工作流的执行按以下步骤进行:

  1. 工作流通过 REST API 调用开始
  2. 每个单独的工作者(服务)通过不断调用 Conductor 的 REST API 方法来轮询自己的任务
  3. 在完成或失败这些任务后,每个工作人员调用 REST API 来更改工作流的状态

这些任务中的每一个工作人员都是单独的服务。它们在不同的编程语言上实现。

我似乎找不到任何关于如何在Apache Airflow. 在我看来,不断使用BashOperator似乎非常糟糕的解决方案。

是否有任何示例说明如何使用工作人员(其中一些不是在 python 上编写的)来监听和执行其在 DAG 中定义的任务?

4

0 回答 0