8

我希望将另一个 DAG 添加到现有的 Airflow 服务器。服务器当前正在使用 LocalExecutor，但我可能希望我的 DAG 使用 CeleryExecutor。似乎配置文件airflow.cfg只允许一个执行者：

# The executor class that airflow should use. Choices include
# SequentialExecutor, LocalExecutor, CeleryExecutor
executor = LocalExecutor

是否可以配置 Airflow 以使现有 DAG 可以继续使用 LocalExecutor 而我的新 DAG 可以使用 CeleryExecutor 或自定义执行器类？我没有找到任何这样做的人的例子，也没有在 Airflow 文档中遇到任何内容。

4

2 回答 2

5

如果你的 DAG 中有一个 SubDAG，你可以将一个特定的 executor 传递给那个 SubDagOperator。例如，要使用 SequentialExecutor：

bar_subdag = SubDagOperator(
    task_id='bar',
    subdag=my_subdag('foo', 'bar', default_args),
    default_args=default_args,
    dag=foo_dag,
    executor=SequentialExecutor()
)

这是1.8，不确定1.9是否不同。

于 2018-03-08T15:26:19.333 回答
1

似乎调度程序只会启动一个执行程序实例。

于 2017-11-06T08:00:28.163 回答