celery - 何时将 Airflow 的执行器从 LocalExecutor 升级到 CeleryExecutor？

Question

我目前正在使用 LocalExecutor 运行几个 Airflow DAG，并且运行良好。我的服务器有很多资源。我即将为一个更大的项目添加一个新的 DAG，我正在考虑从 LocalExecutor 切换到 CeleryExecutor。

我的问题是，有哪些迹象表明我应该切换到 CeleryExecutor？是否应该查看特定的性能指标以了解何时需要开始横向扩展？

Answer 1

LocalExecutor如果您想运行少量并发任务，以便根据您的调度需要，这些任务可以运行单个服务器，这应该足够了。CeleryExecutor当您觉得需要将作业分配到多个服务器时，您应该考虑迁移到。