airflow - 气流 - 是否可以使用 backfill 命令一次（按顺序）运行一天？

Question

基本上，我想运行 backfill 命令整整一个月。但是有一些任务依赖于前一天的数据。据我所知，这个命令每天都在同一时间运行。

airflow backfill adsquare_events -s 2017-01-01 -e 2017-01-31

有没有办法让回填命令一次运行一天（按顺序）？

干杯。

Answer 1

您好，您应该在默认参数上将参数 depends_on_past 设置为 True

default_args = {
    'owner': 'whatever',
    'depends_on_past': True,
    'start_date': datetime(2017, 9, 17),
    'email': ['xxxxx'],
    'email_on_failure': True,
    'email_on_retry': True,
    'retries': 1,
    'retry_delay': timedelta(minutes=10),
}

Answer 2

将 ExternalTask​​Sensor 作为第一步：

ExternalTaskSensor(
    task_id='wait_yesterday_run',
    external_dag_id='adsquare_events',
    execution_delta=timedelta(days=1),
    execution_date_fn=None,
    dag=dag,
)