我想知道是否存在Airflow 1.10.10
与 API 调用相关的隐式限制。
docker
我的基础设施:在容器中运行的气流。这个 docker 容器在AWS EC2
其中运行,使用AWS ECS Blue and green
.
我有一个本地脚本,每 7 分钟进行一次 api 调用。我选择 7 分钟,因为 dag 需要 4-5 分钟才能完成。此外,我将task_concurrency=1
参数设置为 1。
我一直在寻找气流限制或任何其他有意义的问题,但我没有看到任何相关内容。有什么可能的解释吗?
我的理论是docker container
内存限制是 16gb,这是EC2
限制。dag 使用几乎所有可用的 gb,大约 12-13 因此,当有另一个 dag 运行并且内存全部使用时,调度程序就会停止。
这可能吗?
我知道唯一可行的解决方案是增加内存或限制该 dag 的使用。