0

我正试图从谷歌秘密经理那里得到秘密。根据访问机密的文档，入口点应该是 bash，但我有不同的入口点。试图弄清楚如何在“创建数据流模板”步骤中获取秘密。似乎在步骤之外无法访问环境变量值。

steps:
  - id: 'Pull dataflow-python3 docker image & load secrets'    
    name: 'gcr.io/$PROJECT_ID/dataflow-python3:latest'
    entrypoint: 'bash'
    args:
      - '-c'
      - |
        git rev-parse --short HEAD > COMMIT_ID
        commitId=$(cat COMMIT_ID)
        echo "Project Id is $PROJECT_ID"
        echo "Commit SHA is $COMMIT_SHA"
        echo "Commit Id is ${commitId}"
        echo "Secret key 'TEST' has value '$$TEST'"
    secretEnv: ['TEST']

  - id: "Activate virtual environment venv"
    name: 'gcr.io/$PROJECT_ID/dataflow-python3:latest'
    entrypoint: '/bin/bash'
    args: [ '-c', 'source /venv/bin/activate' ]
    waitFor: ['-']

  - id: "Create dataflow template"
    name: 'gcr.io/$PROJECT_ID/dataflow-python3:latest'
    entrypoint: 'python'
    args: 
    - -m
    - main
    - --job_name=test-df
    - --project=$PROJECT_ID
    - --region=us-east1
    - --template_location=gs://my-project-dataflow-templates/test-alerts-template/templates/send-alert-template
    - --staging_location=gs://my-project-dataflow-templates/test-alerts-template/staging/
    - --temp_location=gs://my-project-dataflow-templates/test-alerts-template/temp/
    - --runner=DataflowRunner
    - --setup_file='./setup.py'
    - --autoscaling_algorithm=NONE
    - --DUMMY=$$TEST
    secretEnv: ['TEST']
    waitFor: [
      'Pull dataflow-python3 docker image & load secrets',
      'Activate virtual environment venv'
      ]

availableSecrets:
  secretManager:
  - versionName: projects/my-project/secrets/TEST/versions/latest
    env: 'TEST'

在数据流管道中传递的值

在此处输入图像描述

秘密值：

在此处输入图像描述

构建日志 1： 在此处输入图像描述

构建日志 2： 在此处输入图像描述

4

2 回答 2

1

@guillaume blaquiere 提供的代码可以工作，但问题的根本原因是entrypoint，如配置构建以从 Secret Manager 访问密钥中所述：

在要指定密钥的构建步骤中：

  • 添加一个指向 bash 的入口点字段以在构建步骤中使用 bash 工具。这是引用密钥的环境变量所必需的。
  • 添加一个指定环境变量的 secretEnv 字段。
  • 在 args 字段中，添加 -c 标志作为第一个参数。您在 -c 之后传递的任何字符串都被视为命令。有关使用 -c 运行 bash 命令的更多信息，请参阅 bash 文档。
  • 在 args 字段中指定秘密时，请使用以 $$ 为前缀的环境变量来指定它。

在您的示例中，您使用：

 entrypoint: 'python'
args: 
    - -m

entrypointis not并且第bash一个 arg 未设置 flag -c。

这也发生在纪尧姆的例子中：

 - name: 'gcr.io/cloud-builders/gcloud'
    entrypoint: "echo"
    args:
      - $$TEST
    secretEnv: ['TEST']

入口点不是bash，但在他的第一个示例中是。

另一方面，在提供的解决方案中，入口点是bash，第一个参数是 flag -c，所以这将起作用：

- id: "Create dataflow template"
    name: 'gcr.io/$PROJECT_ID/dataflow-python3:latest'
    entrypoint: 'bash'
    args: 
    - -c
    - python main \
     --job_name=test-df \
     --project=$PROJECT_ID \
     --region=us-east1 \
     --template_location=gs://my-project-dataflow-templates/test-alerts-template/templates/send-alert-template \
     --staging_location=gs://my-project-dataflow-templates/test-alerts-template/staging/ \
     --temp_location=gs://my-project-dataflow-templates/test-alerts-template/temp/ \
     --runner=DataflowRunner \
     --setup_file='./setup.py' \
     --autoscaling_algorithm=NONE \
     --DUMMY=$$TEST
    secretEnv: ['TEST']
    waitFor: [
      'Pull dataflow-python3 docker image & load secrets',
      'Activate virtual environment venv'
      ]

解决方案是准确的，但原因是entrypoint第一个标志-c

于 2021-02-26T23:37:53.313 回答
1

我在不同的配置中进行了测试，其行为与Cloud Build 中的 env 参数“一致” 。事实上，您不能使用env或secretEnv喜欢替代变量。

和仅在命令的执行上下文中可用，在命令的配置中不可用env。secretEnv

这意味着：

  • 如果您运行使用环境变量的应用程序或脚本，则envandsecretEnv可以工作。
  • 如果您在步骤的 args 中使用envor secretEnv，则它不起作用。

但这很微妙

这是执行 BASH 命令的上下文 -> 工作

  - name: 'gcr.io/cloud-builders/gcloud'
    entrypoint: "bash"
    args:
      - -c
      - echo $$TEST
    secretEnv: ['TEST']

在步骤 echo 的参数中 -> 不工作

  - name: 'gcr.io/cloud-builders/gcloud'
    entrypoint: "echo"
    args:
      - $$TEST
    secretEnv: ['TEST']

因此，要解决您的问题，请执行此操作

  - id: "Create dataflow template"
    name: 'gcr.io/$PROJECT_ID/dataflow-python3:latest'
    entrypoint: 'bash'
    args: 
    - -c
    - python main \
     --job_name=test-df \
     --project=$PROJECT_ID \
     --region=us-east1 \
     --template_location=gs://my-project-dataflow-templates/test-alerts-template/templates/send-alert-template \
     --staging_location=gs://my-project-dataflow-templates/test-alerts-template/staging/ \
     --temp_location=gs://my-project-dataflow-templates/test-alerts-template/temp/ \
     --runner=DataflowRunner \
     --setup_file='./setup.py' \
     --autoscaling_algorithm=NONE \
     --DUMMY=$$TEST
    secretEnv: ['TEST']
    waitFor: [
      'Pull dataflow-python3 docker image & load secrets',
      'Activate virtual environment venv'
      ]
于 2021-02-26T20:18:07.070 回答