3

我是气流的新手。但我现在正在研究如何限制 Airflow 中的当前工作。是否有人对 Airflow 中的并发或节流有一点了解。任何建议都会有所帮助。非常感谢。

4

1 回答 1

3

如果要在 dag 中限制任务，则需要定义其“并发”参数。

“并发”定义了一个 DAG 允许有多少个正在运行的任务实例，超过这个点，事情就会排队。

如果要全局限制任务，请查看配置文件的这一行

作为执行器设置的并行量。这定义了应在此气流安装上同时运行的最大任务实例数

并行度 = 32

和

调度器允许并发运行的任务实例数

dag_concurrency = 16

第一个是全局的，第二个是所有dag的并发默认值

于 2017-01-30T17:42:34.043 回答