0

我在 MWAA 上运行 Airflow 1.10.12 我们在资产列表上每 30 分钟/1 小时/2 小时运行一次 dags 执行 - 我们现在有数百个资产,并且计划的任务数量不断增加。(Dag 已成功处理,但调度速度不够快?)

MWWA 气流配置:5 个工作人员 mw1.medium 旋转 EKS 实例进行计算 气流配置

这是 dags 元数据,您可以在其中看到计划的数字上升:
dags 元数据

随着时间的推移,活动任务的数量似乎并不疯狂 - 工作人员并未饱和。我想知道 dag_concurrency 是否存在瓶颈,因为我认为(?)落后的 dag 是那些有很多任务(5 个任务)的 dag。

我不明白什么?您对我的气流配置有什么建议/调整吗?谢谢

4

0 回答 0