问题标签 [kubeflow-pipelines]

我正在尝试构建一个 kubeflow 管道，在其中并行运行两个组件（具有 GPU 约束）。这似乎不是问题，但每次我尝试时，一个组件都会卡在“待处理”状态，直到另一个组件完成。

示例运行

我正在测试的两个组件是while具有 GPU 约束的简单循环：

哪里while_loop_op：

我正在研究调用其他 kf 管道的 kubeflow(kf) 管道。

我们使用顶级父管道，并行调用多个子管道。在开发和测试过程中，我们经常想终止一个完整的运行（所有父子管道）。kf 管道中是否有类似析构函数的机制来在父级终止时终止此类“子”管道。

我昨晚删除了我的 KF 集群以创建一个新集群（使用 kubectl cluster 命令而不是 Kfctl delete），然后当我绑定创建一个新集群时，它失败了，它不适用于 CLI 而不是控制台。我发现其他人之前遇到过这个问题，例如（这里和这里）

“但是，正如我所说，即使使用 CLI，我的部署也会失败，来自控制台的错误是：无法应用：（kubeflow.error）：代码 500 带有消息：协调器应用失败，用于 gcp：（kubeflow.error）：代码 500 带有消息：gcp apply 无法更新部署管理器错误无法更新 storage-kubeflow.yaml；插入部署错误：googleapi：错误 403：请求的身份验证范围不足。更多详细信息：原因：权限不足，消息：权限不足“

我从控制台得到的错误是：“请为您的项目启用 API 并重试请启用云资源管理器 API：https ://console.developers.google.com/apis/api/cloudresourcemanager.googleapis.com/和 iam API：https ://console.developers.google.com/apis/api/iam.googleapis.com/ "

请注意，此错误是错误的，所有 api 都已处于活动状态。我很确定这是 KF 的错误，但不知道如何找到解决方法，有什么想法吗？

使用 CLI，我使用的是我自己的具有“所有者”权限的帐户。谢谢

我是 tfx 的新手，正在学习整合管道。我已经在 GCP 上的 Kubeflow 中成功构建了一个管道。我想知道如何运行多个训练器，这些训练器将使用相同的 csvexamplegen、transform 和 schemagen 在管道中生成不同的输出/推送器。有没有人这样做过？请提前告知和感谢。

我喜欢让多个培训师使用相同的 ExampleGen、Schema 和 Transform 同时运行。下面是我添加额外组件作为 trainer2 evaluator2 和 pusher2 的代码。但是我一直收到以下错误，我不确定如何解决它们。能否请您提前告知和感谢！

错误： RuntimeError：组件类型 tfx.components.trainer.component.Trainer 的重复 component_id Trainer

我目前正在运行 AI 平台管道 v0.2.5 的部署。我在 8 天前看到，容器注册表中添加了一个新版本 v0.5.1。这些版本之间有很多更改、修复等，我想更新我当前的部署。有没有一种简单的方法可以做到这一点，而不会丢失我的实验、管道运行等。

我正在尝试设置一个简单的 KubeFlow 管道，但我无法以适用于 KubeFlow 的方式打包依赖项。

该代码只是下载一个配置文件并对其进行解析，然后将解析后的配置传回。

但是，为了解析配置文件，它需要访问另一个内部 python 包。

我有一个.tar.gz托管在同一个项目的存储桶上的包的存档，并将包的 URL 添加为依赖项，但我收到一条错误消息说tarfile.ReadError: not a gzip file.

我知道该文件很好，因此在存储桶上托管或 kubeflow 安装依赖项的方式是一些中间问题。

这是一个最小的例子：

我在 Jupyter NB 中运行下面的这个 Kubeflow 管道示例。在 def gh_summ() 部分，它给了我一条错误消息：“模块'kfp.dsl'没有属性'RUN_ID_PLACEHOLDER'”。有什么建议么？谢谢！

Kubeflow 管道 Jupyter nb：

需要先下载`

所有这一切都是在我使用轻量级 python 函数作为 kubeflow 管道中的一个组件时，但最近我切换到使用 docker 容器作为 kubeflow 管道中的一个组件，就像这样......

我需要对上述代码进行一些更改吗？我需要自动缩放 docker 容器吗？如果是这样，dsl.ContainerOp将如何知道它应该命中哪个 docker 容器实例？

我做了很多搜索，还探索了 kfp 包，看看是否有帮助，但幸运的是，我什至找不到更接近的解决方案。首先有可能吗？我在正确的方向吗？有人可以帮助我进行研发吗？

我想通过传递任何类型的数据来在组件之间建立管道连接，只是为了让它看起来像带箭头的流程图一样有组织。现在它就像下面

无论 docker 容器是否生成输出，我都希望在组件之间传递一些示例数据。但是，如果需要对 docker 容器代码或 .yaml 进行任何更改，请告诉我

KFP 代码

comp_typed.yaml 代码

组件2.yaml

我尝试了这个和这个，但除了错误之外什么都没有。我是 python 和 kubeflow 的新手。我应该对使用 KFP SDK 在所有 4 个组件之间传递数据进行哪些代码更改。数据可以是文件/字符串

假设，组件 1 从 gs 存储桶下载一个 .pdf 文件，我可以将相同的文件提供给下一个下游组件吗？组件 1 将文件下载到组件 1 docker 容器的“/tmp/doc_pages”位置，我认为该容器是该特定容器的本地文件，并且下游组件无法读取它们？