问题标签 [kfp]

我想在 Kubeflow 管道中编写一个具有 2 个组件的管道：A 和 B

A 的输出是图像路径列表。

我想为每个图像路径运行一个 docker 图像 (B)

从我看到的dsl.ContainerOpB 可以等待 A 的输出，但我不知道如何创建 B 的多个实例

我尝试添加一个逻辑，当管道由于某些错误而终止时将发送松弛通知。我试图用ExitHandler. 但是，似乎ExitHandler不能依赖任何操作。你有什么好主意吗？

Kubernetes容器间通信教程定义了以下管道 yaml：

请注意，volumes密钥在 下定义spec，因此该卷可用于所有已定义的容器。我想使用kfp来实现相同的行为，它是 kubeflow 管道的 API。

但是，我只能将卷添加到单个容器，而不是使用kfp.dsl.ContainerOp.container.add_volume_mount指向先前创建的卷 ( kfp.dsl.PipelineVolume ) 的整个工作流规范，因为卷似乎只在容器中定义。

这是我尝试过的，但卷总是在第一个容器中定义，而不是“全局”级别。如何获取它以便可以op2访问该卷？我原以为它会在kfp.dsl.PipelineConf内，但无法将卷添加到其中。只是没有实施吗？

我安装了 microk8s 并且正在工作。我可以使用 UI 上传和运行管道。现在我安装了 kfp python api（cli 也存在问题），我正在尝试使用 cli 提交管道。这是客户端功能的api：

我只通过了主机 10.64.140.43.xip.io，但它失败了

这表明主机和/或其他默认参数是错误的。不幸的是，任何地方都没有文档。我的猜测是我也应该以某种方式提供用户通行证。有人可以提供一些具体步骤来填充参数，以便我可以以编程方式提交管道吗？

谢谢

我正在关注文档中的示例（https://www.kubeflow.org/docs/components/pipelines/sdk/connect-api/），但是在尝试访问实验或运行时（尝试列出和/或创建它们）

我已经端口转发了 ml-pipeline-ui：

以下导致错误：

我得到的错误client.list_experiments()：

但是，列出管道有效：

我已经验证了端口转发工作 - 我能够在 http://localhost:3000/ 访问 UI 并且可以看到管道。关于我在实验中哪里出错的任何想法？文档中的示例看起来很简单，但有些东西不起作用。

我正在尝试创建一个循环运行的 kubeflow 管道，如下所示：

第一个命令在 YAML 中创建管道规范，但第二个命令需要 JSON。

我怎样才能以编程方式[而不是通过 UI] 创建重复运行？

I got this error, when compiling my pipeline:

type name google.VertexModel is different from expected: Model

when running the following notebook by google: automl_tabular_classification_beans

I suppose that kubeflow v2 is not able to handle (yet) google.vertexmodel as type for component input. However, I've been browsing a bit and did not find any good clue, or refs (kfp documentation for v2 is not up to date..) to solve this issue. Hopefully someone here can give me a good pointer? I look forward to all of your ideas.

Cheers

我正在尝试使用我自己的 Spyder 本地笔记本中的组件在带有 kfp 的 Vertex AI 中创建管道。

当我运行以下代码时：

我收到以下错误：

如果我在线使用 Jupyter 笔记本，则不会引发该错误。

我究竟做错了什么？谢谢。

我正在尝试使用 Vertex AI（谷歌云平台）内的 kubeflow 管道（kfp）组件开发一个自定义管道。管道的步骤是：

1. 从大查询表中读取数据
2. 创建熊猫DataFrame
3. 使用DataFrame训练 K-Means 模型
4. 将模型部署到端点

这是第 2 步的代码。我必须使用Output[Artifact]作为输出，因为pd.DataFrame我在这里找到的类型不起作用。

这里是第 3 步的代码：

由于以下错误，管道的运行已停止：

是否可以将 Artifact 转换为numpy arrayor Dataframe？

我正在尝试使用 kfp 组件为 VertexAI 中的管道编写 Python 代码。我有一个步骤，我创建了一个 system.Dataset 对象，如下所示：

然后我使用数据集作为输入AutoMLTabularTrainingJobRunOp：

查看日志，我发现了这个错误：

所以，我查看了google/cloud/aiplatform/utils/__init__.py第 192 行的源代码，发现资源名称应该是："projects/.../locations/.../datasets/12345"或"projects/.../locations/.../metadataStores/.../contexts/12345" 。

运行后打开executor_output.json在我的存储桶中创建的文件，create_dataframe我发现文件名的格式似乎正确：

{"artifacts": {"dataset": {"artifacts": [{"name": "projects/my_project/locations/my_region/metadataStores/default/artifacts/1299...", "uri": "my_bucket/object_folder", "metadata": {"name": "reshaped-training-dataset"}}]}}}

我还尝试为元数据中的数据集设置一个人类可读的名称，但我没有工作。任何建议都会非常有帮助。