dask - dask multiple processes no-nanny 对性能的影响

Question

我注意到使用只有进程和没有保姆的 dask 工作人员与使用保姆相比，性能下降了 5/6 倍。这是预期的行为吗？

由于工人的状态，我想在没有保姆的情况下运行 dask。我很欣赏在工人中拥有状态是不可取的，但它超出了我的控制范围（第 3 方图书馆）。

或者，如果我与保姆一起运行 dask 工作人员，我可以捕获工作人员故障/重新启动并重新初始化工作人员吗？

Answer 1

Nanny 进程只是启动一个dask-worker进程，然后监视它，如果它发生故障则重新启动它。它根本不应该影响性能。如果您没有保姆，那么您将无法捕获工人故障或重新启动。这就是保姆的作用。