0

我正在使用气流版本 2.2.2 和 celery 作为执行器。这是我想要实现的目标

  1. Dag 应该每秒运行一次
  2. 一次只能运行一个活动 dag。

以前我用 celery beat 和 celery 解决了这个案例。由于将应用程序移动到基于集群的调度程序，我们正在尝试使用气流。有人可以建议我们可以在这个用例中使用气流吗

4

1 回答 1

0

不，Airflow 不适合此用例。每秒运行一次的进程可能不属于批处理的范围。

在您的情况下，当结合这两个条件时，这也意味着任务必须在 1 秒内完成，否则池将建立，并且将安排更多任务，然后您可以处理。气流不太可能处理它。

对于此功能，我将检查事件溯源和流处理领域的更多技术（假设您希望每 1 秒运行一次进程的原因是响应实时不断更新/获取的数据）

于 2021-12-02T19:05:54.470 回答