我的问题:
气流调度程序未分配任务。
背景:
我使用 sqlitedb 在本地机器上成功运行了 Airflow。示例 dag 以及我的自定义 DAG 运行没有任何问题。当我尝试从 sqlite 数据库迁移到 Postgres(使用本指南)时,调度程序似乎不再分配任务。DAG 卡在“运行”状态,但没有任何 DAG 中的任务被分配状态。
我已采取的故障排除步骤
- Web 服务器和调度程序正在运行
- DAG 设置为“开”。
- 运行气流 initdb 后,公共模式将填充所有气流表。
- 我的连接字符串中的用户拥有数据库以及公共模式中的每个表。
调度程序日志
调度程序日志不断发布此警告,但我无法使用它来找到除此其他帖子之外的任何有用信息而没有回复。
[2020-04-08 09:39:17,907] {dag_processing.py:556} INFO - Launched DagFileProcessorManager with pid: 44144
[2020-04-08 09:39:17,916] {settings.py:54} INFO - Configured default timezone <Timezone [UTC]>
[2020-04-08 09:39:17,927] {settings.py:253} INFO - settings.configure_orm(): Using pool settings. pool_size=5, max_overflow=10, pool_recycle=1800, pid=44144
[2020-04-08 09:39:19,914] {dag_processing.py:663} WARNING - DagFileProcessorManager (PID=44144) exited with exit code -11 - re-launching
环境
- PostgreSQL 版本 12.1
- 气流 v1.10.9
- 这一切都在 conda 虚拟环境中的 MacBook Pro (Catalina) 上运行。