问题标签 [kubeflow-pipelines]

从 Kubeflow Pipleine kfp.ParallelFor 聚合结果的好模式是什么？

我已经开始使用 Kubeflow Pipelines 为机器学习项目运行数据处理、训练和预测，并且我正在使用 InputPath 和 OutputhPath 在组件之间传递大文件。

如果可能的话，我想知道如何设置 OutputPath 在组件中查找文件的路径，以及 InputPath 在组件中加载文件的位置。

目前，代码将它们存储在预定的位置（例如data/my_data.csv），如果我可以“告诉” InputPath/OutputPath 这是它应该复制的文件，而不是必须重命名所有文件以匹配什么 OutputPath期望，按照下面的最小示例。

自然，我不希望更新代码以遵守 Kubeflow 管道命名约定，因为这对我来说似乎是非常糟糕的做法。

谢谢！

我建立了一个管道，它获取图像并返回一些人。我想制作一个 API，它使用 Kubeflow 获取图像并返回带有计数的 JSON 文件。

是否可以用替代的本地解决方案替换 Google Cloud Storage 存储桶的使用，以便可以完全独立于 Google Cloud Platform 运行例如 Kubeflow Pipelines？

我目前正在尝试设置 kubeflow 管道。我的用例要求管道的配置应通过 yaml/json 结构提供。查看提交管道的文档，我遇到了这一段：

每个管道都被定义为一个 Python 程序。在将管道提交到 Kubeflow Pipelines 服务之前，您必须将管道编译为中间表示。中间表示采用压缩为 .tar.gz 文件的 YAML 文件的形式。

是否可以通过 json 表示或任何其他表示而不是 zip 文件（tar.gz）表示将管道上传/提交到 KubeFlow？有没有办法绕过文件（zips 和 tar.gz）的文件系统持久性并将它们作为 yaml/json 表示形式添加到数据库中？

我正在尝试通过应用程序管理器在安装在 GCP 中的 MiniKF 中运行XGBoost 示例管道。我有一个带有免费信用的免费帐户，显然这个帐户的最大 CPU 数量是 8。安装了 MiniKF，其他示例管道运行没有问题。但是，当我尝试运行 XGBoost 管道时，我收到一个错误，即超出了“CPUS”和“CPUS_ALL_REGIONS”的配额（需要 12 个 CPU）。

源代码：https ://github.com/kubeflow/pipelines/tree/0.1.40/samples/core/xgboost_training_cm

有没有办法减少这个 XGBoost 示例管道中所需的 CPU 数量？

我已经在本地机器上使用 microk8s 和 Kubeflow 建立了一个本地集群。我按照这些安装说明来启动并运行我的集群。我已经启动了一个 Jupyter 服务器并编写了一个 Kubeflow 管道。

我用来定义组件的 YAML 文件如下所示：

不幸的是，当我尝试使用 Kubeflow Pipelines SDK 创建实验时，出现以下错误：

请注意，我没有包括所有重试，但我认为您明白了。我尝试使用由提供的 IP microk8s.enable，它给了我一种成功的输出，但所有值None仍然不是我想要的。

任何帮助将非常感激。让我知道您需要正确评估的任何其他输出。仍在学习 Kubeflow，因此不确定如何调试，并且在 Kubeflow 文档、microk8s 文档或其他线程中找不到太多关于它的信息。目前正在处理这两个示例。

https://github.com/kubeflow/examples/blob/master/named_entity_recognition/notebooks/Pipeline.ipynb

https://github.com/kubeflow/pipelines/blob/master/samples/tutorials/mnist/03_Reusable_Components.ipynb

我正在尝试运行 kubeflow 管道设置，并且我有几个环境（dev、staging、prod）。

在我的管道中，我kfp.components.func_to_container_op用来获取管道任务实例 (ContainerOp)，然后使用允许它与我的 s3 存储桶集成的适当参数执行它：

每个环境都使用不同的凭据连接到它，并且这些凭据正在函数中传递：

因此，对于每个环境，我都需要更新参数以包含正确的凭据，这使得维护变得非常困难，因为每次我想从 dev 更新到 stg 再到 prod 时，我都不能简单地复制代码。

我的问题是通过这些凭据的最佳方法是什么？

我希望尝试使用原始的 Kubeflow Pipeline API 来触发管道，但是关于如何进行身份验证的信息很少。我可以在https://www.kubeflow.org/docs/pipelines/reference/api/kubeflow-pipeline-api-spec/中找到的所有信息是：

安全

Bearer
Type: apiKey
--
Name: 授权
In: header

当发送带有无效承载令牌的请求时，我知道它需要一个 JWT，但我不知道如何生成一个。

不使用可以做到这一点kfp吗？

我尝试运行 kubeflow 示例（管道/pytorchjob 等），但它堆叠为ContainerCreating.

为此，我想查看 dockershim 和 docker 日志。有文件吗？

示例代码如下 https://github.com/kubeflow/pipelines/tree/master/samples/core/helloworld

kubectl logs如下