问题标签 [kubeflow-pipelines]

我在动态列表上使用 ParallelFor。我想从循环中收集所有输出，并将它们传递给另一个 ContainerOp。
像下面这样的东西，显然不起作用，因为outputs列表是静态的。

如何使用从谷歌云 JSON 文件创建的秘密对象到服务帐户？我已经minikf在VM上并kubeflow安装了。我正在尝试在Kubernetes 集群中使用Jupyter笔记本制作一个容器。minikf笔记本可以使用 PodDefault 访问 GCP，但notebook自动启动的 kanico 容器无法访问 GCP。jupyter notebook中构建容器的代码如下：

我得到错误：

以 Kaniko 开头的 pod 名称被创建并失败，因为它无法访问谷歌云存储：

Jupyter notebook 能够利用我的秘密对象“user-gcp-sa”的证明是上面的代码正在 GCS 上准备文件：

在管道 UI 中，我使用上传管道按钮来上传新管道。

由于管道名称是唯一的，因此更新的唯一方法是删除旧管道，然后上传新管道。

有没有更好的方法，也许可以管理单个管道名称的版本？

在运行具有使用 tensorflow 2.0 的代码的 kubeflow 管道时。每个时期结束时显示以下错误

W tensorflow/core/kernels/data/generator_dataset_op.cc:103] 完成 GeneratorDataset 迭代器时发生错误：已取消：操作已取消

此外，经过一些时期后，它不会显示日志并显示此错误

此步骤处于失败状态，并显示以下消息：节点资源不足：内存。Container main 使用 100213872Ki，超过了它的请求 0。Container wait 使用了 25056Ki，超过了它的请求 0。

我最近发现了 kubeflow 和 kubeflow 管道，但我不清楚如何从我的 python 程序构建图像。

假设我有一个简单的 Python 函数来裁剪图像：

我应该如何将它容器化并在 KubeFlow 管道中使用它？我需要将它包装在 API 中（例如使用 Flask）还是需要连接到一些媒体/数据代理？

KubeFlow 管道如何将输入发送到此代码并将此代码的输出传输到下一步？

在 kubeflow-pipelines 中，UI 将 PipelineParam 显示为输入参数。

但是，我想确认不是 PipelineParam 而是常量值的值。有没有办法在 UI 中显示值？

例如，在以下情况下，UI 中仅显示 param_a。

我有一个包含我的环境的 docker 容器，然后我在本地机器上有 2 个要运行的文件。first_script.py并且second_script.py我的图像被称为my_env:3.7.

在 kubeflow 中，我想创建一个管道，其中first step --> second step. 由于两个脚本的环境相同，我想使用相同的 docker 映像，所以我只需要将文件添加到容器中。但我该怎么做呢？

我不想为 2 个单独的脚本提供 2 个单独的图像。

我开始使用 Kubeflow，并且阅读了有关 KFServing 的信息。与 Kafka 有这种集成，可以从主题中消费。我需要运行一个推理管道，该管道使用来自 Kafka 的数据，进行一些数据预处理，运行 ML 预测，然后将结果发布回 Kafka，如下所示：

我知道我可以使用 Knative 事件从 Kafka 主题 1 摄取数据。有没有办法将 Kafka 用作接收器，或者我是否需要编写一个单独的容器将事件发布到 Kafka 主题 2？

谢谢！

在新的 GKE 集群上安装 Kubeflow 0.7 后（通过https://deploy.kubeflow.cloud），我已经根据各自的教程配置了 OAuth 和 Workload Identity。

在我的管道上，我必须从同一个项目访问 GCS 存储桶，而且我似乎无权访问此操作。

但是，集群确实有权访问 GCR，并且存储权限确实下载和挂载 Docker 映像并运行代码。当代码请求时，它无法从其他存储桶下载，即使这些存储桶在同一个项目中也是如此。

该代码使用默认的身份验证方法：

有没有人知道如何通过访问 BigQuery 来解决和防止这种情况发生（将在下载这些文件后访问）

我有一个由 3 个容器化组件组成的管道。在最后一个组件中，我将我想要的指标写入一个名为 的文件/mlpipeline-metrics.json，就像这里解释的那样。这是我使用的 Python 代码。

我还尝试使用以下代码编写文件，就像上面链接的示例一样。

管道运行良好，没有任何错误。但它不会在前端 UI 中显示指标。

我认为这与以下代码块有关。

这是我用来ContainerOp从容器化组件创建的代码。请注意，我没有指定任何file_outputs. 在其他ContainerOp方面，我必须指定file_outputs能够将变量传递给管道中的下一步。我应该在这里做类似的事情来将它映射/mlpipeline-metrics.json到某个东西上，以便 kubeflow 管道检测到它吗？

我正在使用运行 Kubeflow Pipelines 0.2.5 和 Python 3.6.8 的托管 AI 平台管道部署。

任何帮助表示赞赏。