2

我目前正在尝试设置 kubeflow 管道。我的用例要求管道的配置应通过 yaml/json 结构提供。查看提交管道的文档,我遇到了这一段:

每个管道都被定义为一个 Python 程序。在将管道提交到 Kubeflow Pipelines 服务之前,您必须将管道编译为中间表示。中间表示采用压缩为 .tar.gz 文件的 YAML 文件的形式。

是否可以通过 json 表示或任何其他表示而不是 zip 文件(tar.gz)表示将管道上传/提交到 KubeFlow?有没有办法绕过文件(zips 和 tar.gz)的文件系统持久性并将它们作为 yaml/json 表示形式添加到数据库中?

4

1 回答 1

1

当您编译 python 管道代码时,它会生成一个包含文件的压缩YAML文件。您可以将 YAML 文件解压后取出,然后将其内容添加到数据库表中。

稍后如果您想将其上传到Kubeflow然后使用以下代码:

 pipeline_file_path = 'pipelines.yaml' # extract it from your database
 pipeline_name = 'Your Pipeline Name'

 client = kfp.Client()
 pipeline = client.pipeline_uploads.upload_pipeline(
                                pipeline_file_path, name=pipeline_name)
于 2020-06-14T17:33:11.570 回答