问题标签 [kubeflow]

我正在尝试按照GCP 部署指南在 Google Cloud Platform (GCP) 和 Kubernetes Engine (GKE) 上安装 Kubeflow 。

我创建了一个我是所有者的 GCP 项目，启用了计费功能，设置了 OAuth 凭据并启用了以下 API：

• 计算引擎 API
• Kubernetes 引擎 API
• 身份和访问管理 (IAM) API
• 部署管理器 API
• 云资源管理器 API
• 云文件存储 API
• AI 平台训练和预测 API

但是，当我想使用 UI 部署 Kubeflow时，我收到以下错误：

所以我仔细检查了这些 API 已经启用：

屏幕底部的日志消息是：

失败Could not configure communication with GCP, exiting时触发。_enableGcpServices()

该行Getting enabled services for project ...被打印但不是该行Proceeding with project number: ...，因此必须在这些行之间的代码块中的某处触发错误。

调用Gapi.cloudresourcemanager.getProjectNumber(project)有自己的 try/catch，错误消息和标题略有不同（只讨论云资源管理器 API，而不是 IAM API），所以我认为是调用Gapi.getSignedInEmail()失败？？

是否可以用替代的本地解决方案替换 Google Cloud Storage 存储桶的使用，以便可以完全独立于 Google Cloud Platform 运行例如 Kubeflow Pipelines？

我希望在一个地方管理我所有的 Google Cloud 机器学习模型（例如 AI Platform/Kubeflow/AutoML）。但是，我不确定在哪里可以找到 AutoML，特别是 AutoML Tables，即我已部署的模型。

按复杂度递增的顺序；我希望能够将 AutoML 模型移植到 AI Platform 模型以迭代版本。此外，如果我想进一步定制，我还可以将该模型带入 Kubeflow 以进一步定制、版本、管理和部署。

来自 AI Platform、AutoML 和 Kubeflow 的所有不同模型如何以及在何处进行管理和版本化？

我目前正在尝试设置 kubeflow 管道。我的用例要求管道的配置应通过 yaml/json 结构提供。查看提交管道的文档，我遇到了这一段：

每个管道都被定义为一个 Python 程序。在将管道提交到 Kubeflow Pipelines 服务之前，您必须将管道编译为中间表示。中间表示采用压缩为 .tar.gz 文件的 YAML 文件的形式。

是否可以通过 json 表示或任何其他表示而不是 zip 文件（tar.gz）表示将管道上传/提交到 KubeFlow？有没有办法绕过文件（zips 和 tar.gz）的文件系统持久性并将它们作为 yaml/json 表示形式添加到数据库中？

我正在尝试通过应用程序管理器在安装在 GCP 中的 MiniKF 中运行XGBoost 示例管道。我有一个带有免费信用的免费帐户，显然这个帐户的最大 CPU 数量是 8。安装了 MiniKF，其他示例管道运行没有问题。但是，当我尝试运行 XGBoost 管道时，我收到一个错误，即超出了“CPUS”和“CPUS_ALL_REGIONS”的配额（需要 12 个 CPU）。

源代码：https ://github.com/kubeflow/pipelines/tree/0.1.40/samples/core/xgboost_training_cm

有没有办法减少这个 XGBoost 示例管道中所需的 CPU 数量？

我最近一直在使用 Kubeflow。我的目标是让 PyTorch 在 Kubeflow 中运行。我已经阅读了有关在此处创建分布式 PyTorch 作业的文档。我还阅读了有关如何在 Kubeflow 中创建管道/组件的所有文档。

我的问题是我现在如何才能将 PyTorch 作业（它是 Kubernetes 资源）作为组件运行。最终目标是让我的 PyTorch 代码，它是一些模型的分布式训练，在 Kubeflow 的组件/管道框架中运行。多工人作业如何融入 Kubeflow 的组件/管道框架？

该文档提供了大量关于如何从 python 代码、Docker 容器等运行组件的信息……但没有关于如何从 PyTorchJob 或 Kubernetes 作业中执行此操作的信息。这对我来说似乎是一个明显的用例，我觉得我遗漏了一些明显的东西，但我已经浏览了我能找到的所有 Kubeflow 文档，并针对如何做到这一点进行了额外的搜索。

将不胜感激任何帮助，谢谢！

我正在尝试运行 kubeflow 管道设置，并且我有几个环境（dev、staging、prod）。

在我的管道中，我kfp.components.func_to_container_op用来获取管道任务实例 (ContainerOp)，然后使用允许它与我的 s3 存储桶集成的适当参数执行它：

每个环境都使用不同的凭据连接到它，并且这些凭据正在函数中传递：

因此，对于每个环境，我都需要更新参数以包含正确的凭据，这使得维护变得非常困难，因为每次我想从 dev 更新到 stg 再到 prod 时，我都不能简单地复制代码。

我的问题是通过这些凭据的最佳方法是什么？

我正在尝试构建一个 kubeflow 管道，在其中并行运行两个组件（具有 GPU 约束）。这似乎不是问题，但每次我尝试时，一个组件都会卡在“待处理”状态，直到另一个组件完成。

示例运行

我正在测试的两个组件是while具有 GPU 约束的简单循环：

哪里while_loop_op：

安装 MiniKF 后，登陆http://10.10.10.10，我使用的盒子是“arrikto/minikf”，版本是“20200305.1.0”，问题出在：

RAM 够用，磁盘够用。它出什么问题了？

我想将 Kubeflow 安装到 Azure 中，所以我开始使用单个节点（B4MS 虚拟机）创建一个 Azure Kubernetes 集群（AKS）。在安装过程中，我没有启用虚拟节点池选项。创建 AKS 集群后，我运行命令“ $ kubectl describe node aks-agentpool-3376354-00000”来检查规格。可分配的 Pod数量为110我能够毫无问题地安装 Kubeflow。但是，后来我想要一个启用了虚拟节点池的 AKS 集群，这样我就可以使用 GPU 进行训练。因此，我删除了旧集群并使用相同的 B4MS 虚拟机创建了一个新的 AKS 集群，并启用了虚拟节点池选项。这一次，当我运行与上面相同的命令来描述节点规格时，可分配的 Pod 数量为30，并且由于缺少要配置的 pod，kubeflow 安装失败。

有人可以解释一下为什么启用或禁用虚拟节点选项时可分配的 Pod 数量会发生变化吗？如何在启用虚拟节点池选项的同时将可分配 Pod 的数量保持为 110？先感谢您！