python-3.6 - 如何运行一项气流任务及其所有依赖项？

Question

我怀疑

airflow run dag_id task_id execution_date

将运行所有上游任务，但它不会。当它看到并非所有相关任务都运行时，它只会失败。如何运行特定任务及其所有依赖项？我猜这是不可能的，因为气流设计决定，但有没有办法解决这个问题？

Answer 1

您可以通过使用 -i/-I/-A 标志和运行命令来独立运行任务。

但是是的，气流的设计不允许运行特定任务及其所有依赖项。

您可以通过从 DAG 中删除不相关的任务来回填 dag 以进行测试

Answer 2

一些解决方法，但如果您task_id始终如一地给出任务 -s，您可以尝试从 Airflow CLI（命令行界面）进行回填：

airflow backfill -t TASK_REGEX ... dag_id

其中TASK_REGEX对应于您要重新运行的任务及其依赖项的命名模式。

（请记住添加其余的命令行选项，例如--start_date）。