问题标签 [kubeflow]

在管道 UI 中，我使用上传管道按钮来上传新管道。

由于管道名称是唯一的，因此更新的唯一方法是删除旧管道，然后上传新管道。

有没有更好的方法，也许可以管理单个管道名称的版本？

在过去的一天里，我一直在努力为这种方式找到一个好的解决方案，并想听听你的想法。

我有一个接收大型动态 JSON 数组（仅包含字符串化对象）的管道，我需要能够为该数组中的每个条目创建一个 ContainerOp（使用 dsl.ParallelFor）。

这适用于小输入。

现在，由于 argo 和 Kubernetes 的管道输入参数大小限制，数组作为文件 http url 出现（或者这是我从当前打开的问题中理解的），但是 - 当我尝试从一个 Op 读取文件以使用作为 ParallelFor 的输入，我遇到了输出大小限制。

对于这种情况，什么是好的和可重用的解决方案？

谢谢！

在运行具有使用 tensorflow 2.0 的代码的 kubeflow 管道时。每个时期结束时显示以下错误

W tensorflow/core/kernels/data/generator_dataset_op.cc:103] 完成 GeneratorDataset 迭代器时发生错误：已取消：操作已取消

此外，经过一些时期后，它不会显示日志并显示此错误

此步骤处于失败状态，并显示以下消息：节点资源不足：内存。Container main 使用 100213872Ki，超过了它的请求 0。Container wait 使用了 25056Ki，超过了它的请求 0。

我最近发现了 kubeflow 和 kubeflow 管道，但我不清楚如何从我的 python 程序构建图像。

假设我有一个简单的 Python 函数来裁剪图像：

我应该如何将它容器化并在 KubeFlow 管道中使用它？我需要将它包装在 API 中（例如使用 Flask）还是需要连接到一些媒体/数据代理？

KubeFlow 管道如何将输入发送到此代码并将此代码的输出传输到下一步？

目前我使用的是 kubeflow v0.7，当我创建一个新的 Jupyter 笔记本服务器时，有一个配置部分，但我无法在那里选择或添加任何配置。有什么地方可以为新的笔记本服务器添加配置吗？还是我必须在图像中包含我需要的任何东西（这对我的情况不理想）？

谢谢。

在 kubeflow-pipelines 中，UI 将 PipelineParam 显示为输入参数。

但是，我想确认不是 PipelineParam 而是常量值的值。有没有办法在 UI 中显示值？

例如，在以下情况下，UI 中仅显示 param_a。

我有一个包含我的环境的 docker 容器，然后我在本地机器上有 2 个要运行的文件。first_script.py并且second_script.py我的图像被称为my_env:3.7.

在 kubeflow 中，我想创建一个管道，其中first step --> second step. 由于两个脚本的环境相同，我想使用相同的 docker 映像，所以我只需要将文件添加到容器中。但我该怎么做呢？

我不想为 2 个单独的脚本提供 2 个单独的图像。

我开始使用 Kubeflow，并且阅读了有关 KFServing 的信息。与 Kafka 有这种集成，可以从主题中消费。我需要运行一个推理管道，该管道使用来自 Kafka 的数据，进行一些数据预处理，运行 ML 预测，然后将结果发布回 Kafka，如下所示：

我知道我可以使用 Knative 事件从 Kafka 主题 1 摄取数据。有没有办法将 Kafka 用作接收器，或者我是否需要编写一个单独的容器将事件发布到 Kafka 主题 2？

谢谢！

在新的 GKE 集群上安装 Kubeflow 0.7 后（通过https://deploy.kubeflow.cloud），我已经根据各自的教程配置了 OAuth 和 Workload Identity。

在我的管道上，我必须从同一个项目访问 GCS 存储桶，而且我似乎无权访问此操作。

但是，集群确实有权访问 GCR，并且存储权限确实下载和挂载 Docker 映像并运行代码。当代码请求时，它无法从其他存储桶下载，即使这些存储桶在同一个项目中也是如此。

该代码使用默认的身份验证方法：

有没有人知道如何通过访问 BigQuery 来解决和防止这种情况发生（将在下载这些文件后访问）

我正在学习 GCP，遇到了 Kuberflow 和 Google Cloud Composer。
据我了解，似乎两者都用于编排工作流程，使用户能够在 GCP 中安排和监控管道。
我能弄清楚的唯一区别是 Kuberflow 部署和监控机器学习模型。我对么？在那种情况下，既然机器学习模型也是对象，我们不能使用 Cloud Composer 来编排它们吗？在管理机器学习模型方面，Kubeflow 如何提供比 Cloud Composer 更好的帮助？

谢谢