airflow - 多个任务作为一个组的气流重试

Question

我有一组任务应该作为一个单元运行，从某种意义上说，如果组中的任何任务失败，整个组都应该被标记为失败。

我希望能够在失败时重试该组。

例如，我有一个包含以下任务的 DAG：

taskA >> (taskB >> taskC) >> taskD

我想说那(taskB >> taskC)是一个群体。

如果要么taskB失败taskC，我希望能够重新运行整个组(taskB >> taskC)。

Answer 1

这是一个两部分的问题。

首先，在气流中下游任务不能影响上游任务。假设结构：

taskA >> taskB >> taskC >> taskD

那么如果taskB是成功和taskC失败。它不能将状态更改taskB为失败。

其次，清除（重新运行）任务组是当前不可用的功能。在 Airflow repo 中有一个开放的功能请求。您可以在此链接中查看它。