dask - 如何使用导入创建自定义 Dask 工作者

Question

我正在设置 Dask，我可以使用 dask 进行多处理就好了。

但是，当我想使用预配置的 Dask 工作人员时，我遇到了问题。他们没有与我的主要流程相同的导入。

我想知道。如何将自定义导入添加到 dask 工作人员中，以便所有访问这些工作人员的期货都可以有效运行。

Answer 1

理想情况下，您 Dask 工作人员应该都拥有相同的软件环境。通常，这是在 Dask 之外使用 Docker 映像或网络文件系统 (NFS) 来保证的。还有一些其他的解决方案，比如Client.upload_file，它们对小脚本很有用。