5

我需要让 AWS Glue（帐户：PROD）写入另一个帐户（帐户：DEV）上的 S3 存储桶

根据http://docs.aws.amazon.com/glue/latest/dg/access-control-overview.html

基于资源的策略

Amazon S3 等其他服务也支持基于资源的权限策略。例如，您可以将策略附加到 S3 存储桶以管理对该存储桶的访问权限。AWS Glue 不支持基于资源的策略。

...这意味着我不能做arn:aws:s3::DEV-Account:S3-Bucket/*

我尝试Trusted entity使用 PROD 在 DEV 帐户上创建一个并附加一个策略集以访问 DEV 帐户上的 s3 存储桶。

我该怎么做？

4

3 回答 3

7

我们遇到了同样的问题，我们通过将这些添加到我们的 DEV 存储桶策略中来找到解决方案：

{
    "Sid": "SID",
    "Effect": "Allow",
    "Principal": {
        "AWS": "arn:aws:iam::[PROD-ACCOUNT-ID]:role/[PROD-GLUE-ROLE]"
    },
    "Action": [
        "s3:Get*",
        "s3:Put*",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:ListBucketVersions",
        "s3:ListMultipartUploadParts"
    ],
    "Resource": [
        "arn:aws:s3:::[DEV-BUCKET]",
        "arn:aws:s3:::[DEV-BUCKET]/*"
    ]
}

这对 PROD Glue 角色 ([PROD-GLUE-ROLE]) 帐户策略：

{
    "Action": [
        "s3:Get*",
        "s3:List*"
        "s3:Put*"
    ],
    "Resource": [
        "arn:aws:s3:::[DEV-BUCKET]*"
    ],
    "Effect": "Allow"
}

之后，您应该能够使用您在 PROD 帐户中的 PROD 角色从 DEV 存储桶读取和写入数据：

data_frame = glue_context.create_dynamic_frame_from_options(
    connection_type='s3',
    connection_options={
        'paths':'s3://[DEV-BUCKET]/...'
    },
    format='json'
)

希望这可以帮助

于 2017-12-18T22:29:51.227 回答
1

只是 Glue 现在支持资源级别策略的更新，但目前仅适用于 DataCatalog 资源。 https://docs.aws.amazon.com/glue/latest/dg/glue-resource-policies.html

于 2019-07-27T11:15:45.913 回答
0

我们可以通过让 GLUE 作业将 ACL 添加到它正在创建的对象并上传到 S3 存储桶来解决这个问题

ACL = {
u'Owner': {u'DisplayName': 'prod', u'ID': 'XXXX'
},
u'Grants': [{
    u 'Grantee': {
        u 'Type': 'CanonicalUser',
        u 'DisplayName': 'prod',
        u 'ID': 'XXXXX'
    },
    u 'Permission': 'FULL_CONTROL'
},
{
    u 'Grantee': {
        u 'Type': 'CanonicalUser',
        u 'DisplayName': 'dev',
        u 'ID': 'YYYY'
    },
    u 'Permission': 'READ'
},
{
    u 'Grantee': {
        u 'Type': 'CanonicalUser',
        u 'DisplayName': 'dev',
        u 'ID': 'YYYY'
    },
    u 'Permission': 'READ_ACP'
},
{
    u 'Grantee': {
        u 'Type': 'CanonicalUser',
        u 'DisplayName': 'dev',
        u 'ID': 'YYYY'
    },
    u 'Permission': 'WRITE_ACP'
}
]
response = client.put_object_acl(Bucket='BUCKET', Key='OBJECT', AccessControlPolicy=ACL)
于 2018-01-02T17:03:53.833 回答