airflow - 什么是在气流中协调并行任务的替代方法

Question

我最近开始使用 apache airflow 并且我的 dags 和工作流运行完美，但是，我正在寻找另一种通过排除工作流中的任务来协调依赖关系的方法。

下面的代码产生以下

start >> spark_job >> sql_job>> [getfile,getfile2] >> t2>> [renamefile,renamefile2] >> t8>> t9 
>> t10>> end

我正在寻找一种方法来排除get_file直接连接到Renam_file2和get_file2连接到Renam_file的睡眠任务

Answer 1

数组之间不能有依赖关系，但可以分解依赖关系以实现 get_file 到 Rename_file 之间的直接连接。

我确实接受了您在描述中提到的内容，但是您确定要将 get_file 连接到 Renam_file2 吗？

start >> spark_job >> sql_job >> [getfile, getfile2] 
getfile >> renamefile2  # opposite??
getfile2 >> renamefile  # opposite??
[renamefile, renamefile2] >> t8 >> t9 >> t10 >> end