kubeflow - 如何以编程方式从管道函数创建 Kubeflow 循环运行？

Question

我正在尝试创建一个循环运行的 kubeflow 管道，如下所示：

from kfp import compiler
compiler.Compiler().compile(
    pipeline_func=my_pipeline,
    package_path='pipelines/my_pipeline.tgz')

from kfp.v2.google.client import AIPlatformClient
api_client = AIPlatformClient(project_id='...',
                             region='...')

api_client.create_schedule_from_job_spec(
    job_spec_path='pipelines/my_pipeline.tgz',
    schedule='* * * * *',
    time_zone='UTC',
    parameter_values=arguments
)

第一个命令在 YAML 中创建管道规范，但第二个命令需要 JSON。

我怎样才能以编程方式[而不是通过 UI] 创建重复运行？

Answer 1

您正在使用v1 kfp.compilerwhich 确实会产生 yaml 输出，而您的 API 客户端是v2，它确实需要 json 输入。使用kfp.v2.compiler与版本保持一致，后者将管道保存在 json 中，正如您的api_client.

• 示例 v1 hello world 生成一个 yaml
• 示例 v2 hello world 生成一个 json

您可以在此处找到在 gcp 上创建 v2 管道的示例。