9

我正在使用 LocalExecutor 在 4 CPU 机器上运行 Airflow

我已经将上游任务定义为一次成功

create_spark_cluster_task = BashOperator(
    task_id='create_spark_cluster',
    trigger_rule='one_success',
    bash_command= ...,
    dag=dag)

...

download_bag_data_task >> create_spark_cluster_task
download_google_places_data_task >> create_spark_cluster_task
download_facebook_places_details_data_task >> create_spark_cluster_task
download_facebook_places_details_data_task_2 >> create_spark_cluster_task
download_facebook_places_details_data_task_3 >> create_spark_cluster_task
download_factual_data_task >> create_spark_cluster_task
download_dataoutlet_data_task >> create_spark_cluster_task

但即使有些被明确标记为成功，任务也不会触发

“下载任务”确实并行运行，所以这不是问题

图形

检查任务显示：

依赖性：未知

原因：满足所有依赖关系但任务实例未运行。在大多数情况下，这只是意味着任务可能很快就会被安排，除非： - 调度程序已关闭或负载过重 - 此任务实例已经运行并且手动更改了它的状态（例如在 UI 中清除）

我查看了负载，它确实很高：

平均负载：2.45、3.55、3.71 CPU 在 50-60%

但是其他的任务都已经完成了，应该有空闲的资源可以开始下一个任务吧？

4

0 回答 0