0

我正在运行 Airflow 并尝试迭代我们从命令行构建的某些任务。

运行气流网络服务器时，一切都按预期工作。但是当我跑步时airflow backfill dag task '2017-08-12'，气流返回：

[2017-08-15 02:52:55,639] {__init__.py:57} INFO - Using executor LocalExecutor
[2017-08-15 02:52:56,144] {models.py:168} INFO - Filling up the DagBag from /usr/local/airflow/dags
2017-08-15 02:52:59,055 - airflow.jobs.BackfillJob - INFO - Backfill done. Exiting

...并且实际上并没有运行dag。

当使用airflow testor airflow run（即涉及运行任务而不是 dag 的命令）时，它按预期工作

我犯了一个基本的错误吗？我该怎么做才能从这里调试？

谢谢

4

3 回答 3

0

如果一个任务有一个@monthly时间表，那么如果你尝试在start_date月中运行它，它只会声明Backfill done. Exiting.. 如果任务的计划为'30 5 * * *'，这也会阻止backfill命令行

（更新以反映更好的信息，以及这个讨论）

于 2017-08-15T20:23:41.490 回答
0

两个可能的原因：

  • 通过选项指定的执行日期-e超出了 DAG 的[start_date, end_date)范围。
  • 即使执行日期在两个日期之间，请记住，如果您的 DAG 有，schedule_interval=None那么它不会backfill迭代：它只会运行一个日期（指定为--start_date或--end_date如果省略第一个日期）。
于 2020-02-21T17:27:11.563 回答
0

您是否已经在该日期范围内运行了这些 DAG？然后，您将需要clear先到 DAG backfill。基于 Maxime 在这里提到的内容：https ://groups.google.com/forum/#!topic/airbnb_airflow/gMY-sc0QVh0

于 2017-08-15T15:55:00.140 回答