问题标签 [kubeflow-pipelines]

我正在测试 kubeflow 管道，并希望在 AWS/On-prem 上使用它，但我看到了对文档的以下评论。我应该等待将它与 AWS/on-prem 一起使用吗？

由于 kubeflow/pipelines#345 和 kubeflow/pipelines#337，Kubeflow Pipelines 依赖于 Google Cloud Platform (GCP) 服务，非 GKE 集群目前不支持某些功能。

I'm beginning to dig into kubeflow pipelines for a project and have a beginner's question. It seems like kubeflow pipelines work well for training, but how about serving in production?

I have a fairly intensive pre processing pipeline for training and must apply that same pipeline for production predictions. Can I use something like Seldon Serving to create an endpoint to kickoff the pre processing pipeline, apply the model, then to return the prediction? Or is the better approach to just put everything in one docker container?

我正在对 Kubeflow Pipelines 进行一些实验，我有兴趣检索运行 ID 以保存有关管道执行的一些元数据。有什么办法可以从像这样的组件中做到这一点ContainerOp？

我正在尝试将元素列表作为 PipelineParameter 发送到轻量级组件。
这是重现该问题的示例。这是功能：

如果我用这个执行它：

它的行为符合预期：

但是如果我将它包装在一个操作中并设置一个管道：

然后运行管道：

然后似乎在某些时候我的列表被转换为字符串！

我正在 Kubeflow 中构建 ML 管道，我有一个问题。有什么开箱即用的东西可以让我配置我的管道，这样如果一个步骤的输出存在，​​它就不会重新运行？我已经想到了手动执行此操作的方法（在我编译管道时检查现有输出，或者有一个初始步骤返回要运行的步骤列表，或者手动配置哪些步骤作为输入参数运行）但我找不到处理这个问题的原生方式。

对我来说，常见的用例是重新运行模型步骤而不重新运行任何数据预处理；但不必有一个特定的“模型开发”管道，该管道与包含数据预处理步骤的更一般的产品不同。或者也许我正在评估阶段进行迭代，我什至不需要重新培训，但我仍然想使用相同的管道。现在，同事们正在使用几个管道，每个管道都从不同的步骤开始，以解决这个问题。

我是从 map-reduce 的角度来看的，这是微不足道的——框架会自动检测存在哪些输出并且不会将它们重建为默认值，但可以轻松地为您提供重建部分或全部输出的选项。也许这会影响我使用 kubeflow 的方式？

任何帮助表示赞赏！

我正在探索将 Kubeflow 作为部署和连接典型 ML 管道的各种组件的选项。我使用 docker 容器作为 Kubeflow 组件，到目前为止，我一直无法成功地使用ContainerOp.file_outputs对象在组件之间传递结果。

根据我对该功能的理解，创建并保存到声明为file_outputs组件之一的文件应该会导致它持久存在并可供以下组件读取。

这就是我试图在我的管道 python 代码中声明它的方式：

在data-collector.py组件的 python 代码中，我获取数据集，然后将其写入output.txt. 我能够从同一组件内的文件中读取，但不能data-preprocessor.py在我获得FileNotFoundError.

是对file_outputs基于容器的 Kubeflow 组件使用 invalid 还是我在代码中错误地使用了它？如果在我的情况下不是一个选项，是否可以在管道声明 python 代码中以编程方式创建 Kubernetes 卷并使用它们而不是file_outputs？

机器学习平台是商业中的流行语之一，以促进开发 ML 或深度学习。

有一个通用部分工作流编排器或工作流调度器，可帮助用户构建 DAG、调度和跟踪实验、作业和运行。

有很多机器学习平台都有工作流编排器，比如Kubeflow pipeline、FBLearner Flow、Flyte

我的问题是气流和 Kubeflow 管道或其他 ML 平台工作流编排器之间的主要区别是什么？

而且气流支持不同语言的 API 并且拥有庞大的社区，我们可以使用气流来构建我们的 ML 工作流吗？

我希望通过gcr.io/******/serve_model:lat5Image 访问变量，这是一个参数gcr.io/******/deployservice:lat2

最初我尝试将变量作为参数传递，但它不起作用，所以我试图将它作为环境变量传递。
我的环境变量将是GCP存储桶的 url，我将从那里serve_model访问.sav模型文件。

我可以使用创建一个静态 for 循环

如何使用 acontainer_op.output作为输入ParallelFor？
假设第一个容器输出一个整数n，然后我想运行ParallelForn 次。

像这样的尝试不起作用：

我正在尝试刺激并行 pythonrange(n)函数。

我们无法让上传到 Kubeflow 的管道中的容器访问存储在 google 容器注册表中的私有自定义 docker 映像。我们在 minikube 上运行的 kubernetes 集群之上运行 kubeflow。有人可以帮助我们了解如何将访问令牌/服务帐户添加到 Kubeflow 部署中吗？我们已经阅读了一些文档，它们在自定义 Kubernetes 部署上实现了这一点，但在 Kubeflow 部署上却没有。

我们在 Kubeflow 上运行管道时遇到的错误是： 此步骤处于待处理状态，并显示以下消息：ImagePullBackOff: Back-off pull image

这是调用图像的管道代码。

谢谢！！