python - Luigi Orchestrator 中的并行任务

Question

我定义了三个任务T1、T2和T3，然后是一个任务T4，如下所示：

class T4(luigi.Task)
    def requires(self):
        return [T1(), T2(), T3()]

有没有一种自然的方式告诉 Luigi 我想要这些任务T1, T2, 和T3并行执行？

Answer 1

这取决于 T1、T2 和 T3 有什么依赖关系。如果他们没有其他任务作为公共依赖项，您可以指定运行您的任务--workers=3，Luigi 将在单独的 worker 中运行每个任务。