python - 在 Airflow 1.9.0 中填充“ExternalTask​​Sensor”的“dag_id”的最佳实践是什么？

Question

你如何填写ExternalTaskSensor参数external_dag_id？

1. 硬编码。维护 DAG 非常简单，但很难维护，如果外部 DAG 的 dag_id 发生变化，您必须记住也要更改external_dag_id。甚至一些不知情的拼写错误。
2. 或导入该 dag 并使用external_dag.dag_id. 这样就解决了上面的问题。但它可能会出现循环依赖和一些全局变量问题。这些问题比 Hardcode 解决方案更无意识。

有人在生产中对此有一些最佳实践吗？欢迎任何建议。

Answer 1

我建议使用第二种解决方案。

如果有全局变量，您应该将它们移动到Airflow Variables中。而要解决循环依赖问题，就需要重构 DAG。这取决于管道。