0

我们计划更新 Airflow 并从单个 Airflow 服务器切换到 Airflow集群(AWS)。

我们一直在检查这篇文章和这篇文章。

我们使用 SQS 作为队列服务，尽管文档说我们只需要在 master 中部署 DAGs py 文件，但我们想知道这是否正确。

  1. 通过队列的通信不包括代码
  2. 在我们的测试中，如果我们没有在所有节点、worker 和 master 中部署 DAG，我们的 DAG 就无法正常工作。

那么，我们应该怎么做呢？

非常感谢！

4

1 回答 1

0

您的 DAGS 需要在所有工作人员之间同步才能正常工作，因为这airflow_scheduler会将 DAG 发送给任何可用的工作人员。如果 DAGS 未在所有工作人员之间同步，则可能会运行 DAG 的较旧副本。

于 2019-05-28T14:51:17.350 回答