我们有 10 个气流 DAG,我们正在使用条件触发器运行下一个 DAG。但是下一个 DAG 不会立即开始。触发需要 5 分钟。
例子:
Dag1 于 10:05 完成 Dag2 于 10:10 开始
如果我们能够消除 5 分钟的差距,整个 ETL 过程将在 2.5 小时内完成。但现在大约需要 3 到 4 个小时。
配置文件:
sql_alchemy_pool_size = 5
sql_alchemy_pool_recycle = 3600
parallelism = 8
dag_concurrency = 64
dags_are_paused_at_creation = True
max_active_runs_per_dag = 16
load_examples = False
donot_pickle = False
dagbag_import_timeout = 30
workers = 4
worker_class = sync
authenticate = False
filter_by_owner = False
email_backend = airflow.utils.send_email_smtp
celery_app_name = airflow.executors.celery_executor
celeryd_concurrency = 16
job_heartbeat_sec = 5
scheduler_heartbeat_sec = 5
task_cpu = 1