0

我想知道是否存在Airflow 1.10.10与 API 调用相关的隐式限制。

docker我的基础设施:在容器中运行的气流。这个 docker 容器在AWS EC2其中运行,使用AWS ECS Blue and green.

正如您在附图中看到的那样,昨天气流下降了两次。 在此处输入图像描述

我有一个本地脚本,每 7 分钟进行一次 api 调用。我选择 7 分钟,因为 dag 需要 4-5 分钟才能完成。此外,我将task_concurrency=1参数设置为 1。

我一直在寻找气流限制或任何其他有意义的问题,但我没有看到任何相关内容。有什么可能的解释吗?

我的理论是docker container内存限制是 16gb,这是EC2限制。dag 使用几乎所有可用的 gb,大约 12-13 因此,当有另一个 dag 运行并且内存全部使用时,调度程序就会停止。

这可能吗?

我知道唯一可行的解​​决方案是增加内存或限制该 dag 的使用。

4

0 回答 0