0

我动态地创建了一个 dag 集合（对所有人使用相同的 .py）。还有一个build-DAG我无法运行：

airflow.exceptions.AirflowException: dag_id could not be found: `build-DAG`. Either the dag did not exist or it failed to parse.
at get_dag (/usr/local/lib/python2.7/site-    packages/airflow/bin/cli.py:130)
at run (/usr/local/lib/python2.7/site-packages/airflow/bin/cli.py:353)
at <module> (/usr/local/bin/airflow:27)

对于这个 dag，我可以看到以前的日志、代码和 UI 中的所有内容，但我无法运行它。知道如何调试吗？重新启动作曲家实例可能有用吗？

动态创建的其余 dag 工作正常。

我正在使用与此类似的东西来创建 dag： https ://gist.github.com/tmarthal/edaeae7f6f8780dc53887a16b7b20f205

谢谢指教。教育

更新：我正在使用 composer-0.5.1-airflow-1.9.0

2018 年 8 月 2 日更新：我迁移到 composer-1.0.0-airflow-1.9.0 并且仍然发生

4

1 回答 1

0

这不是气流问题，而是并发问题。

我有两个后端返回动态 dag 列表，每个后端都有不同的 DAG id 列表。当 DAG 定义使用 Backend A 时，创建 20 个 DAG，而使用 Backend B 时仅创建 18 个 DAG。然后，当我尝试运行 DAG 19th 时，气流间歇性地失败。我的解决方案在两个后端同步。

问候爱德华多

于 2018-09-13T13:06:25.343 回答