aws-glue - AWS Glue 作业中是否有可用的会话？

Question

在我的 AWS Glue 工作流（使用 CloudFormation 定义）中，我有一些作业（pythonshell）具有重复的逻辑来创建一些参数，例如相同的数据库连接字符串等。此外，通过 Boto3 也有一个重复的逻辑，如下所示：

import boto3
sm_client = boto3.client(service_name='secretsmanager', region_name=region_name)
db_password = sm_client.get_secret_value(SecretId="MY_DB_PASSWORD")["SecretString"]

获取数据库的相对密码。

如前所述，这种逻辑在多个工作中重复出现。是否有任何排序会话，或者您对在同一工作流程的多个作业中存储此类信息有任何想法？

Answer 1

您可以使用https://docs.aws.amazon.com/glue/latest/dg/workflow-run-properties-code.html中定义的工作流属性跨 Glue 作业共享信息

但对于敏感信息，我宁愿使用 SecretManager 或 Glue 数据库连接。