1

我们有 10 个气流 DAG,我们正在使用条件触发器运行下一个 DAG。但是下一个 DAG 不会立即开始。触发需要 5 分钟。

例子:

Dag1 于 10:05 完成 Dag2 于 10:10 开始

如果我们能够消除 5 分钟的差距,整个 ETL 过程将在 2.5 小时内完成。但现在大约需要 3 到 4 个小时。

配置文件:

sql_alchemy_pool_size = 5
sql_alchemy_pool_recycle = 3600 
parallelism = 8 
dag_concurrency = 64 
dags_are_paused_at_creation = True 
max_active_runs_per_dag = 16 
load_examples = False 
donot_pickle = False 
dagbag_import_timeout = 30 
workers = 4 
worker_class = sync 
authenticate = False 
filter_by_owner = False 
email_backend = airflow.utils.send_email_smtp 
celery_app_name = airflow.executors.celery_executor 
celeryd_concurrency = 16 
job_heartbeat_sec = 5 
scheduler_heartbeat_sec = 5 
task_cpu = 1
4

0 回答 0