python - 如何让我的 Luigi 调度程序使用带有并行调度标志的多个内核？

Question

我的luigi.cfg文件中有以下行（在所有节点、调度程序和工作人员上）：

[core]
parallel-scheduling: true

然而，当我在我的 luigi 调度程序上监控 CPU 利用率时（大约 4000 个任务的图表，处理来自大约 100 个工作人员的请求），它只使用调度程序上的一个内核，luigid单线程通常达到 100% 的 CPU 利用率. 我的理解是这个配置变量应该并行化任务调度。

消息来源建议这个标志确实应该在调度程序上使用多个核心。在https://github.com/spotify/luigi/blob/master/luigi/interface.py#L194中，调用了https://github.com/spotify/luigi/blob/master/luigi/worker。 py#L498并行检查.complete()任务的状态。

为了让我的 Luigi 调度程序利用其所有内核，我缺少什么？

Answer 1

我只是意识到这个名字parallel-scheduling有点令人困惑。它不影响调度程序。只有工人。设置该选项时，工作人员将并行执行调度阶段。

到目前为止，还没有办法为中央调度程序使用多个内核。