3

背景：我在 Google Vertex AI 中为每个 bigquery 数据集训练一个非常相似的模型，但我想为每个现有数据集（在 Google BigQuery 中）拥有一个自定义训练图像。从这个意义上说，我需要按需在容器注册表中以编程方式构建自定义 Docker 映像。我的想法是让一个谷歌云函数来做这件事，由 PubSub 主题触发，其中包含关于我想为哪个数据集构建训练容器的信息。所以很自然，该函数会将 Dockerfile 和相关脚本写入 Cloud Functions 中的 /tmp 文件夹（据我所知，这是唯一可写的地方）。但是，当我尝试在此脚本中实际构建容器时，显然，它找不到 /tmp 文件夹或其内容，即使它们在那里（通过日志记录操作检查）。

到目前为止令人不安的代码：

def build_container(dataset=str):

    with open('container_template/Dockerfile','r') as f:
        dockerfile = f.read()
    dockerfile = dockerfile.replace('@dataset',dataset)
    f.close()

    os.makedirs(os.path.dirname('/tmp/script-location'), exist_ok=True)

    with open('/tmp/Dockerfile','w') as docker_config:
        docker_config.write(dockerfile)

    docker_config.close()

    shutil.copy('container_template/script-location/script.py','/tmp/script-location/script.py')

    build_client = cloudbuild_v1.CloudBuildClient()

    build = cloudbuild_v1.Build()

    build.steps = [{'name':'gcr.io/cloud-builders/docker',
                    'args':['build', '-t', 'us-central1-docker.pkg.dev/myproject/myrepo/imagename:latest','/tmp']},
                    {'name':'gcr.io/cloud-builders/docker',
                    'args':['push', 'us-central1-docker.pkg.dev/myproject/myrepo/imagename:latest']}]  

    build_operation = build_client.create_build(project_id=myprojectid,build=build)

    build_result = build_operation.result()

    logger.info('Build Result: {}'.format(build_result.status))

当我检查云构建日志时，我得到： 步骤 #0：无法准备上下文：无法评估 Dockerfile 路径中的符号链接：lstat /tmp/Dockerfile：没有这样的文件或目录

4

1 回答 1

2

我已经在本地测试了使用Cloud Build Client Python library 构建容器映像。即使Dockerfile文件存在于当前目录中，结果也会出现相同的错误：

错误：

步骤#0：无法准备上下文：无法评估 Dockerfile 路径中的符号链接：lstat /workspace/Dockerfile：没有这样的文件或目录

构建步骤：

    build_client = cloudbuild_v1.CloudBuildClient()

    build = cloudbuild_v1.Build()

    build.steps = [{'name':'gcr.io/cloud-builders/docker',
                    'args':['build', '-t', 'us-central1-docker.pkg.dev/myproject/myrepo/imagename:latest','.']},
                    {'name':'gcr.io/cloud-builders/docker',
                    'args':['push', 'us-central1-docker.pkg.dev/myproject/myrepo/imagename:latest']}]  

    build_operation = build_client.create_build(project_id=myprojectid,build=build)

    build_result = build_operation.result()

因为它使用 API 方法，所以我遵循了这个文档。您将看到sourceAPI 方法中存在。这是推进问题的缺失关键。在StorageSource中，您必须指定bucketand object_。您需要压缩源代码并将其上传到 Cloud Storage 存储分区。例如：

  1. 运行以下命令来压缩您的源代码：
tar -cvzf sourcecode.tar.gz .
  1. 上传到 Cloud Storage 存储分区（您可以使用 Cloud Build 存储分区）：
gsutil cp sourcecode.tar.gz gs://myproject_cloudbuild
  1. 构建源：
    build_client = cloudbuild_v1.CloudBuildClient()

    build = cloudbuild_v1.Build()
    
    build.source = {"storage_source":{"bucket":"myproject_cloudbuild", "object_":"gs://myproject_cloudbuild/sourcecode.tar.gz"}}

    build.steps = [{'name':'gcr.io/cloud-builders/docker',
                    'args':['build', '-t', 'us-central1-docker.pkg.dev/myproject/myrepo/imagename:latest','.']},
                    {'name':'gcr.io/cloud-builders/docker',
                    'args':['push', 'us-central1-docker.pkg.dev/myproject/myrepo/imagename:latest']}]  

    build_operation = build_client.create_build(project_id=myprojectid,build=build)

    build_result = build_operation.result()

结果，它解决了使用客户端库构建图像的问题。我建议在您的 Cloud Function 中执行所有这些操作。

于 2021-12-21T11:07:02.647 回答