0

我们在 Google Clouds Vertex AI 中同时使用 Vertex AI 训练作业和 Kubeflow 管道。

在训练作业中,我们通过 python sdk 将参数和指标记录到 Vertex AI Experiments。

Vertex AI Pipelines 可以跟踪从 Kubeflow 管道到 Experiments 的指标吗?或者如果失败,是否有可能获取管道运行 id 并通过 sdk 手动登录,使用这个 id 是运行 id?Vertex AI Pipelines 中的任何其他实验跟踪方法?

4

1 回答 1

0

启动管道的方法有很多种,如果使用以下方法很容易获得作业 id(资源名称):

将 google.cloud.aiplatform 导入为 aip

job = aip.PipelineJob( display_name=f"{COMPONENT_NAME}-pipeline", template_path=jobspec_filename, enable_caching=False, # pipeline_root=pipeline_root_path, parameter_values={ 'project_id': 'p1' } )

job.run() 打印(作业)

上面将打印如下内容:

<google.cloud.aiplatform.pipeline_jobs.PipelineJob object at 0x7f18811b7c50> 资源名称:projects/[PROJECT_ID]/locations/us-central1/pipelineJobs/[pipeline execution id]

我没有尝试过,但我认为您可以使用PipelineService列出或获取以前的管道执行。有一些方法,如 ListTrainingPipelinesRequest 和 ListTrainingPipelinesResponse 可能有用

于 2021-11-15T21:55:46.073 回答