3

我正在使用 dask-kubernetes 创建一个 dask 调度程序并将其置于自适应模式。

from dask-kubernetes import KubeCluster
cluster = KubeCluster()
cluster.adapt(minimum=0, maximum=40)

我需要每个工作人员在创建时运行一些设置代码（使用 设置一些环境变量os.environ），以便任务正确执行。

我在文档中看到有一个--preload从命令行开始的工人标志。我猜我需要将它直接设置到某个地方的自适应调度程序中。

如何将代码传递给我的工人以在他们开始时执行？

4

1 回答 1

1

如果您正在寻找的只是设置环境变量，那么您可以使用 dask-kuberenetes 配置文件来处理它。我认为 KubeCluster 甚至可能有一个 env= 关键字或其他东西。

对于更通用的代码，您认为使用预加载脚本是目前最好的方法是正确的。但是，这在所有情况下都不是理想的。理想情况下，您将能够向调度程序注册一些启动代码，以便在所有工作人员启动时移交给他们。不过，截至 2018 年 8 月 1 日，这尚未实施。

于 2018-08-01T12:35:01.650 回答