问题标签 [dask-kubernetes]

我正在尝试部署与 JupyterHub 集成的 Dask Gateway，这就是我决定尝试 DaskHub Chart 的原因。按照https://docs.dask.org/en/latest/setup/kubernetes-helm.html#helm-install-dask-for-mulitple-users上的说明进行操作。JH 工作正常，但是当我尝试通过 UI 或通过以下方式创建新的 Dask 集群时：

我收到此错误：

任何帮助将不胜感激。

我在 Kubernetes 命名空间中运行 Dask Gateway。我可以使用以下代码连接到网关，而不是在 Docker 容器中运行。

但是，当我从 Docker 容器运行相同的代码时，在gateway.new_cluster().

这是什么原因？我也尝试--net=host在 Docker 容器上运行它，这导致了同样的错误。

附加信息：这似乎不是 Docker 网络问题...我可以在 Docker 容器中使用 Coiled 集群，但不能使用 Dask-Gateway 集群...

从 docker 容器到 traefik pod 的初始传出连接似乎成功了。dask-scheduler 在集群中成功启动。但是，连接断开（超时？）会阻止进一步的交互。

我正在使用带有两个工作人员和一个调度程序的 vanilla Dask-Kubernetes 设置来迭代一些 JSON 文件的行（并应用一些为简单起见未出现在此处的函数）。我只看到一个工人在工作，而我希望看到其中两个。

希望重新分区能帮助我尝试了不同的值，bag.repartition(num)这些值返回不同的行数，但它们并没有改变关于工人不平衡和仅集中在一个工人身上的内存消耗的任何事情。

我想我不了解分区和工作人员之间的相关性，而且我在 Dask 文档中找不到任何关于它的内容。非常欢迎任何帮助或指点！

这只是在远程 Dask kubernetes 集群中重现内存泄漏问题的最小测试示例。

观察：工作内存（字节存储）在每次运行时稳定增加约 30 MB，并不断增加，直到使用整个内存。我用 urllib 尝试的另一个测试，我观察到每次运行时内存随机增加和减少。

期望行为：删除引用 L_geojson 后应清理内存。

有人可以帮忙解决这个内存泄漏问题吗？

我对我应该如何连接到通过外部服务的 Dask-helm 图表创建的已部署 Dask 集群感到有些困惑。我按照此处的说明部署了一个 Dask 集群

成功部署后，它向我显示了我的 pod 和服务，如下所示：

但请注意，我的服务将 my 显示traefic为ClusterIP没有与之关联的公共 ip。

我可以使用类似于下面的代码连接到作为 Helm Chart 的一部分创建的提供的 Jupyter Notebook，并且完全没有问题地使用我的集群。

现在我想从运行在我的 k8s 集群之外的另一个应用程序进行连接。根据我应该传递给的这个文档address，我一直在尝试以下方法：authGateway

但总是以 a 的形式返回401，从外部连接到该集群的正确方法是什么？

此外，这些服务对公共互联网完全开放。保护这些的最佳实践是什么？（请不要告诉我使用 Kerberos :( ）

我们目前正在将 Dask Gateway 与仅 CPU 工作人员一起使用。然而，随着深度学习被更广泛地采用，我们希望过渡到为通过 Dask Gateway 创建的集群添加 GPU 支持。

我查看了 Dask Gateway 文档，关于如何设置它以及我们需要更改 helm chart/config 的哪些部分以启用此功能的详细说明并没有太多。

我的想法是首先在 GCP 上的 GKE 集群中添加一个 GPU，然后为使用该 GPU 的 dask 工作人员使用 RAPIDS dockerfile？这就是 Dask Gateway 所需的全部设置吗？

如果有人能指出我正确的方向，将不胜感激。

我们在 Google Cloud Platform 上的 Kubernetes 上部署了 Dask Gateway。出于安全目的，我们目前正在使用内部 TCP 负载均衡器来公开 traefik 代理。我们的用户能够创建到通过 Dask Gateway 生成的集群的客户端连接就好了。但是因为我们现在在私有 VPC 上使用内部负载均衡器，所以无法再访问仪表板的链接。我们如何公开这个仪表板链接？

我试图做的是为 Dask Dashboard 创建一个单独的外部负载均衡器，然后在集群配置中，以某种方式将其指向外部负载均衡器。但我不太确定如何在 kubernetes helm 图表中执行此操作。

提前致谢。

我正在尝试启动一个dask集群，但它显示以下错误：

为什么会kubectl run dask --image daskdev/dask失败？

我对 kubernetes 和 dask 非常陌生，并尝试实现一些 kube 集群并创建了带有一些服务的 minikube 集群，进一步希望使用灵活的 dask 功能对其进行扩展。

我打算稍后以某种方式将它部署到 gcloud，所以我试图从一个带有 RBAC 和 python 脚本的 pod 初始化 dask 集群（调度程序和工作人员到我的 minikube 集群），但我的尝试没有成功。

我在 KubeCluster 中尝试了本地和远程 deploy_mode 只是为了找到一些可行的解决方案，但我想它必须是远程的。

运行此 python 脚本后

我进入ValueError: missing port number in address '$(DASK_SCHEDULER_ADDRESS)'调度程序 pod 日志

调度程序 pod 的完整日志

我错过了在 pod 规范中设置一些环境变量吗？不是必须自动设置吗？

如果有帮助，当我将部署模式设置为本地时，客户端构造函数会引发错误，表示未设置调度程序端口或类似的东西。我尝试手动设置它，但它不断引发此错误。

我将非常感谢任何建议来实施这一点