我有 dag_prime 和 dag_tertiary。
dag_prime
:扫描目录并打算在每个目录上调用 dag_tertiary。目前是 PythonOperator。dag_tertiary
:扫描传递给它的目录并对其内容进行(可能是时间密集的)计算。
我可以从 python 操作员的系统调用中调用第二个,但我觉得必须有更好的方法。如果有一种简单的方法可以做到这一点,我还想考虑对 dag_tertiary 调用进行排队。有没有比使用系统调用更好的方法?
谢谢!
我有 dag_prime 和 dag_tertiary。
dag_prime
:扫描目录并打算在每个目录上调用 dag_tertiary。目前是 PythonOperator。 dag_tertiary
:扫描传递给它的目录并对其内容进行(可能是时间密集的)计算。我可以从 python 操作员的系统调用中调用第二个,但我觉得必须有更好的方法。如果有一种简单的方法可以做到这一点,我还想考虑对 dag_tertiary 调用进行排队。有没有比使用系统调用更好的方法?
谢谢!
用于airflow.operators.trigger_dagrun
从另一个 DAG 调用一个 DAG。
详细信息可在操作员trigger_dagrun Airflow 文档中找到。
以下帖子给出了使用此运算符的一个很好的示例: https ://www.linkedin.com/pulse/airflow-lesson-1-triggerdagrunoperator-siddharth-anand