0

我正在使用airflow 1.10.12，但是发现下游任务在其上游任务完成很长时间后会成为调度程序，这很奇怪。例如，这里的甘特图，您可以在上游任务完成 1 分钟后找到该任务，我有什么办法可以让它运行得更快？

气流甘特图

4

1 回答 1

0

我想这也取决于您的执行者，bu Airflow 提供了一些提高速度的技巧，请参阅Airflow FAQ：

并行度：此变量控制在整个 Airflow 集群中同时运行的任务实例的数量。用户可以在airflow.cfg 中增加并行度变量。
concurrency：Airflow 调度程序将在任何给定时间为您的 DAG 运行不超过并发任务实例。并发在您的 Airflow DAG 中定义。如果您未在 DAG 上设置并发，调度程序将使用来自 airflow.cfg 中 dag_concurrency 条目的默认值。
task_concurrency：此变量控制每个任务跨 dag_runs 并发运行的任务实例的数量。
max_active_runs：Airflow 调度程序将在给定时间运行不超过 DAG 的 max_active_runs DagRuns。如果您未在 DAG 中设置 max_active_runs，则调度程序将使用 airflow.cfg 中 max_active_runs_per_dag 条目中的默认值。
pool：此变量控制分配给池的并发运行任务实例的数量。

于 2020-11-17T21:51:20.443 回答