在 Kubernetes 上部署自适应多用户 Dask 集群的正确方法是什么?
我需要一个集中的机器集群,多人可以用于他们的工作,以便它可以添加更多机器或删除它们(最好是 0 个工人)。
在 Kubernetes 上部署自适应多用户 Dask 集群的正确方法是什么?
我需要一个集中的机器集群,多人可以用于他们的工作,以便它可以添加更多机器或删除它们(最好是 0 个工人)。
鉴于您需要多人共享您管理的机器集群,我建议您查看Dask Gateway。
Dask 集群设计为一次只能由一个人使用。您可以使用Dask Helm Chart或使用dask-kubernetes创建集群,但这些方法中的每一种都会创建一个集群供一个人使用。
Dask Gateway 为管理 Dask 集群提供了一个安全的多租户服务器。
要开始使用 Kubernetes,您需要创建一个config.yaml
带有网关代理令牌的 Helm 配置文件 ( )。
gateway:
proxyToken: "<RANDOM TOKEN>"
提示:您可以使用 生成合适的令牌openssl rand -hex 32
。
然后安装图表。
helm repo add dask-gateway https://dask.org/dask-gateway-helm-repo/
helm repo update
helm install --values config.yaml my-release dask-gateway/dask-gateway