airflow - Airflow 中 Dependent Dags 之间的任务沿袭

Question

我们计划每天使用Airflow运行许多 DAG 。已使用 ExternalTask​​Sensor、TriggerDagRunOperator 和自定义运算符启用依赖项

样本：

DAG A 中的任务 1 依赖于 DAG B 中的任务 2 DAG A
中的任务 3 依赖于 DAG C 中的
任务 4 DAG A 中的任务 5 依赖于 DAG D 中的任务 6
...

DAG B 中的任务 2 依赖于 DAG E 中的任务 7
DAG B 中的任务 4 依赖于 DAG F 中的任务 8 ...

在 UI 中查看 Task Instance 详细信息时，仅显示属于同一 dag 的下游任务 ID 和上游任务 ID。

我们如何才能看到单个任务跨多个 DAG 到最后可用级别的完整沿袭？

Answer 1

Airflow 目前（v 1.8.1）没有查看跨 dag 依赖项的机制。

这时候如果你需要任务之间关系的可视化，它们必须在同一个 dag 中。自定义插件中的视图可能会显示这些依赖项，但普通 UI 不会这样做。