0

我正在运行 Airflow 并尝试迭代我们从命令行构建的某些任务。

运行气流网络服务器时,一切都按预期工作。但是当我跑步时airflow backfill dag task '2017-08-12',气流返回:

[2017-08-15 02:52:55,639] {__init__.py:57} INFO - Using executor LocalExecutor
[2017-08-15 02:52:56,144] {models.py:168} INFO - Filling up the DagBag from /usr/local/airflow/dags
2017-08-15 02:52:59,055 - airflow.jobs.BackfillJob - INFO - Backfill done. Exiting

...并且实际上并没有运行dag。

当使用airflow testor airflow run(即涉及运行任务而不是 dag 的命令)时,它按预期工作

我犯了一个基本的错误吗?我该怎么做才能从这里调试?

谢谢

4

3 回答 3

0

如果一个任务有一个@monthly时间表,那么如果你尝试在start_date月中运行它,它只会声明Backfill done. Exiting.. 如果任务的计划为'30 5 * * *',这也会阻止backfill命令行

(更新以反映更好的信息,以及这个讨论

于 2017-08-15T20:23:41.490 回答
0

两个可能的原因:

  • 通过选项指定的执行日期-e超出了 DAG 的[start_date, end_date)范围。
  • 即使执行日期在两个日期之间,请记住,如果您的 DAG 有,schedule_interval=None那么它不会backfill迭代:它只会运行一个日期(指定为--start_date--end_date如果省略第一个日期)。
于 2020-02-21T17:27:11.563 回答
0

您是否已经在该日期范围内运行了这些 DAG?然后,您将需要clear先到 DAG backfill。基于 Maxime 在这里提到的内容:https ://groups.google.com/forum/#!topic/airbnb_airflow/gMY-sc0QVh0

于 2017-08-15T15:55:00.140 回答