python - 如何避免在 Luigi 中与多个工作人员同时运行特定任务

Question

我使用 Luigi 构建数据分析任务，包括通过 matplotlib 绘图。

似乎 matplotlib 绘图的并发运行会导致问题，这会导致由于某种原因过早地从任务中返回，什么也不做。（看起来这是 matplotlib 的问题，虽然我可能错了。）

为了解决这个问题，我想避免同时为那个绘图任务运行多个工作人员，同时在多个工作人员中运行其他任务。我怎样才能做到这一点？

Answer 1

您可以为此使用资源。在/etc/luigi/client.cfg配置资源时：

[resources]
mathplotlib: 1

然后，以这种方式修改您的任务：

class MyTask(luigi.Task):
    resources = {"mathplotlib": 1}

如果您有多台机器运行 luigi 工作人员，并且您希望所有机器上只有一个工作人员可能正在使用给定的资源，那么您可以看看这个解决方案。