1

我正在使用 AWS 托管气流来编排数据管道。管道中的所有 dag 运行都是从 lambda 函数手动触发的。我希望 Airflow 在任何给定时间执行一次 dag。我正在使用max_active_runs并concurrency控制它，但由于某种原因它不起作用。当两个 dag 运行并行执行时，两个 dag 运行都会被执行，而不是一个被执行，另一个被排队。

气流版本：2.0.2

Dag 初始化：

with DAG('trigger_data_vault',
         catchup=False,
         default_args=default_args,
         schedule_interval=None,
         concurrency=1,
         max_active_runs=1
         ) as dag:

气流 Dag 运行：

在此处输入图像描述

4

1 回答 1

0

这是 Airflow 本身的一个错误 https://github.com/apache/airflow/issues/9975

于 2021-09-14T11:45:54.450 回答