问题标签 [kubeflow-pipelines]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
369 浏览

python - 有没有办法在 cloudbuild 步骤中运行 python 脚本?

我有一系列 cloudbuild 步骤,我将管道上传到 gcp kubeflow。现在我想在下一步中运行该管道。所以为此我编写了一个 python 脚本,我希望它在我的下一个 cloudbuild 步骤中运行这个 python 脚本。

这是我的python脚本

0 投票
1 回答
63 浏览

python - 使用 Kale 将我的 Jupyter Notebook 转换为 Kubeflow 管道时出现索引超出范围错误

我在 Kubeflow 的 Jupyter Notebook 服务器上运行一个简单的 ANN 模型。我在笔记本中运行了我的代码,看看它是否有效,并且一切都运行良好,具有预期的输出。

但是,当我使用 Kale 将笔记本转换为 Kubeflow 管道时,我收到以下错误:在我的 load_data 步骤期间load_data 日志中出现错误消息。这是我在笔记本中工作的代码块:working codeblock

有谁知道错误可能是什么?如果有人想要重建环境的步骤,请告诉我。

这是我的参考代码: https ://github.com/sumanthnallamotu/kale/blob/master/artificial_neural_network.ipynb

0 投票
1 回答
387 浏览

tensorflow - 如何使用专门用于 GCP 的 TFX SDK 实现 Kubeflow“运行参数”?

我目前使用 Kubeflow 作为我的编排器。编排器实际上是托管在 GCP 上的 AI 平台管道的一个实例。如何使用 Tensorflow 扩展 SDK 创建运行时参数?我怀疑这是我应该使用的类,但是文档不是很有意义,也没有提供任何示例。https://www.tensorflow.org/tfx/api_docs/python/tfx/orchestration/data_types/RuntimeParameter

有点像下图。 在此处输入图像描述

0 投票
2 回答
157 浏览

kubernetes - GCP 是否仍支持 KubeFlow?

我正在尝试在 GCP 上使用 KubeFlow,我正在关注这个codelab,但不再支持“ click-to-deploy ”,所以我遵循了“ kubectl and kpt ”的文档。但是,我不断收到这个“ You cannot perform this action because the Cloud SDK component manager is disabled for this installation.”错误,而且我发现的解决方案都没有奏效。我有另外 2 位朋友告诉我,他们从去年开始尝试让 KubeFlow 工作,但从未成功,但我确实看到有人在 Stackoverflow 上发布有关 KubeFlow 的问题,所以我想问一下它是否还在工作,如果可以,在哪里可以我找到了一个像样的指南来遵循

谢谢!

0 投票
1 回答
506 浏览

kubernetes - kubeflow 管道 ml_metadata mysql_real_connect 失败

我正在尝试构建 kubeflow 管道

元数据部署

在 Kubeflow 连接数据时,出现以下问题。我需要做什么操作?我现在已经建立了数据库并且确认用户密码是正确的

这是官方的⬇️

我的配置也是

日志错误

0 投票
0 回答
350 浏览

python-2.7 - Kubeflow 在容器启动时返回没有这样的文件或目录

我目前正在尝试在 Kubeflow 上部署管道,但每次启动它时,它都会返回:

This step is in Failed state with this message: OCI runtime create failed: container_linux.go:345: starting container process caused "exec: \"python /usr/src/app/FeatureExtractor.py\": stat python /usr/src/app/FeatureExtractor.py: no such file or directory": unknown

这是我的管道:它目前在所有 fe-* 组件上都失败了,这些组件是运行其他组件所必需的。

管道

所述组件的镜像的 Dockerfile 是:

而管道是通过这个python函数创建的:

问题似乎是在容器上找不到 FeatureExtractor.py,这似乎很奇怪,因为手动启动容器(没有 Kubeflow)使其执行。

您对如何解决此问题有任何想法吗?提前致谢!:)

0 投票
1 回答
239 浏览

kubeflow - 使用管道参数为 Kubeflow 管道分配资源

我希望能够创建一个 Kubeflow 管道,允许用户为运行设置分配的资源。最终结果将是这样的:

具有设置资源分配能力的 Kubeflow “创建运行” UI 示例

可以定义管道参数;但是,管道参数的语法与 Kubeflow 用于预处理其 YAML 定义的验证正则表达式不匹配。


例如,使用屏幕截图中的值参数,我可以通过将其添加到管道的 YAML 定义中来硬编码分配给管道的资源:

但是,我想做的是使用管道的参数为每次运行定义这些分配。就像是:

当我使用管道资源的第二个定义时,管道创建失败,因为 Kubeflow 无法解析这些资源参数,因为输入参数语法'{{input.parameters.parameter}}'与正则表达式不匹配^([+-]?[0-9.]+)([eEinumkKMGTP]*[-+]?[0-9]*)$


有没有人找到解决这个问题的方法,还是我试图强迫 Kubeflow 做一些它不适合做的事情?像我在第二个示例中那样定义和使用管道参数适用于管道定义的其他部分(例如,在 Docker 容器中运行的参数或命令)。

0 投票
1 回答
48 浏览

kubeflow - 如何在 Kubeflow 运行时访问工件?

我想mlpipeline-metrics从另一个组件访问内容。

0 投票
1 回答
1717 浏览

jupyter-notebook - 如何在现有的 prem kubernetes 集群上安装 kubeflow

我正在通过“使用 kfctl_k8s_istio 的 Kubeflow 部署”在 kubernetes 集群上安装 kubeflow,它给出了以下错误。

一些 Istio POD 没有启动并在 Kubernetes 仪表板上给出以下错误。

请支持。

0 投票
2 回答
524 浏览

kubeflow - Kubeflow 管道中的 ParallelFor

我想使用自定义列表在 Kubeflow 管道中运行并行操作,并且我想将列表元素的值用于定义操作。我正在尝试这样的事情:

但我收到这样的错误:

我也试过

但我得到一个类似的错误。如何检索项目的“原始”名称?