0

我正在谷歌的 Vertex AI 中运行自定义训练作业。执行自定义作业的简单gcloud命令将使用类似于以下语法的内容（可以在此处查看命令的完整文档）：

gcloud beta ai custom-jobs create --region=us-central1 \
--display-name=test \
--config=config.yaml

在config.yaml文件中，可以指定机器和加速器 (GPU) 类型等，在我的例子中，指向一个自定义容器，该容器位于 Google Artifact Registry 中，该容器执行训练代码（在imageUri部分中指定containerSpec） . 示例配置文件可能如下所示：

# config.yaml
workerPoolSpecs:
  machineSpec:
    machineType: n1-highmem-2
    acceleratorType: NVIDIA_TESLA_P100
    acceleratorCount: 2
  replicaCount: 1
  containerSpec:
    imageUri: {URI_FOR_CUSTOM_CONATINER}
    args:
    - {ARGS TO PASS TO CONTAINER ENTRYPOINT COMMAND}

我们正在运行的代码需要将一些运行时环境变量（需要安全）传递给容器。在API 文档中containerSpec，它说可以按如下方式设置环境变量：

# config.yaml
workerPoolSpecs:
  machineSpec:
    machineType: n1-highmem-2
    acceleratorType: NVIDIA_TESLA_P100
    acceleratorCount: 2
  replicaCount: 1
  containerSpec:
    imageUri: {URI_FOR_CUSTOM_CONATINER}
    args:
    - {ARGS TO PASS TO CONTAINER ENTRYPOINT COMMAND}
    env:
    - name: SECRET_ONE
      value: $SECRET_ONE
    - name: SECRET_TWO
      value: $SECRET_TWO

当我尝试将env标志添加到 时containerSpec，我收到一条错误消息，指出它不是容器规范的一部分：

ERROR: (gcloud.beta.ai.custom-jobs.create) INVALID_ARGUMENT: Invalid JSON payload received. Unknown name "env" at 'custom_job.job_spec.worker_pool_specs[0].container_spec': Cannot find field.
- '@type': type.googleapis.com/google.rpc.BadRequest
  fieldViolations:
  - description: "Invalid JSON payload received. Unknown name \"env\" at 'custom_job.job_spec.worker_pool_specs[0].container_spec':\
      \ Cannot find field."
    field: custom_job.job_spec.worker_pool_specs[0].container_spec

知道如何使用自定义容器在 Vertex AI 自定义作业中安全地设置运行时环境变量吗？

4

1 回答 1

2

REST API 有两个版本 - “<a href="https://cloud.google.com/vertex-ai/docs/reference/rest/v1/CustomJobSpec#containerspec" rel="nofollow noreferrer">v1”和“<a href="https://cloud.google.com/vertex-ai/docs/reference/rest/v1beta1/CustomJobSpec#containerspec" rel="nofollow noreferrer">v1beta1”，其中“v1beta1”没有env选项，ContainerSpec但“v1”可以。不带参数的gcloud ai custom-jobs create命令beta不会引发错误，因为它使用版本“v1”进行 API 调用。

yaml 文件中的环境变量可以通过以下方式传递给自定义容器：

这是我用来测试需求的示例自定义训练应用程序的 docker 文件。有关培训应用程序的更多信息，请参阅此代码实验室。

FROM gcr.io/deeplearning-platform-release/tf2-cpu.2-3
WORKDIR /root

WORKDIR /

# Copies the trainer code to the docker image.
COPY trainer /trainer


# Copies the bash script to the docker image.
COPY commands.sh /scripts/commands.sh

# Bash command to make the script file an executable
RUN ["chmod", "+x", "/scripts/commands.sh"]


# Command to execute the file
ENTRYPOINT ["/scripts/commands.sh"]

# Sets up the entry point to invoke the trainer.
# ENTRYPOINT "python" "-m" $SECRET_TWO ⇒ To use the environment variable  
# directly in the docker ENTRYPOINT. In case you are not using a bash script, 
# the trainer can be invoked directly from the docker ENTRYPOINT.

下面是commands.shdocker容器中用来测试环境变量是否传给容器的文件。

#!/bin/bash
mkdir /root/.ssh
echo $SECRET_ONE
python -m $SECRET_TWO

示例config.yaml文件

# config.yaml
workerPoolSpecs:
  machineSpec:
    machineType: n1-highmem-2
  replicaCount: 1
  containerSpec:
    imageUri: gcr.io/infosys-kabilan/mpg:v1
    env:
    - name: SECRET_ONE
      value: "Passing the environment variables"
    - name: SECRET_TWO
      value: "trainer.train"

下一步，我构建了容器并将其推送到 Google Container Repository。现在，gcloud ai custom-jobs create --region=us-central1 --display-name=test --config=config.yaml可以运行创建自定义训练作业，并且commands.sh可以在作业日志中看到文件的输出，如下所示。

在此处输入图像描述

于 2021-09-30T07:43:34.700 回答