1

我已经设置了Airflow 1.10.10Celery作为执行器,Postgres作为结果后端和 sql alchemy 连接,Redis作为代理/消息队列。我为每个 Airflow 组件(调度程序、网络服务器、代理和 1 个工作人员)使用一个 pod,具有 2 GiB 内存和 2 个 CPU 内核。我的Postgres实例在 Azure 中运行,具有 2 个 CPU 内核。主要问题是每当我开始调度一些示例 DAG 时,Postgres 的 CPU 资源将达到约 95%,并且任务将开始失败,导致连接问题(如调度程序中的 PID 超时或“致命:剩余的连接槽是为非复制超级用户连接保留的“错误)我已经尝试从airflow.cfg中的sql alchemy更改一些池参数但仍然遇到问题。 我的问题是: Postgres DB是否正在运行在 Azure 中,2 个 CPU 内核足以处理 DAGS?什么是适当的设置?或者如何防止 Airflow 拥塞 Postgres?谢谢!

4

0 回答 0