19

python 3我创建了一个私有 s3 存储桶和一个 fargate 集群，其中包含一个简单的任务，该任务尝试使用和读取该存储桶boto3。我已经在 2 个不同的 docker 图像上进行了尝试，其中一个我得到了ClientError来自 boto 的说法HeadObject Bad request (400)，而另一个我得到了NoCredentialsError: Unable to locate credentials.

图像中唯一真正不同的是，一个说错误请求正在正常运行，另一个是我通过 ssh 手动运行到任务容器。所以我不确定为什么一张图片说“错误请求”而另一张图片说“无法找到凭据”。

我尝试了几种不同的 IAM 策略，包括 ( terraform) 以下策略：

data "aws_iam_policy_document" "access_s3" {
  statement {
    effect    = "Allow"
    actions   = ["s3:ListBucket"]
    resources = ["arn:aws:s3:::bucket_name"]
  }

  statement {
    effect = "Allow"

    actions = [
      "s3:GetObject",
      "s3:GetObjectVersion",
      "s3:GetObjectTagging",
      "s3:GetObjectVersionTagging",
    ]

    resources = ["arn:aws:s3:::bucket_name/*"]
  }
}

第二次尝试：

data "aws_iam_policy_document" "access_s3" {
  statement {
    effect    = "Allow"
    actions   = ["s3:*"]
    resources = ["arn:aws:s3:::*"]
  }
}

我尝试的最后一个是内置策略：

resource "aws_iam_role_policy_attachment" "access_s3" {
  role       = "${aws_iam_role.ecstasks.name}"
  policy_arn = "arn:aws:iam::aws:policy/AmazonS3ReadOnlyAccess"
}

桶定义非常简单：

resource "aws_s3_bucket" "bucket" {
  bucket = "${var.bucket_name}"
  acl    = "private"
  region = "${var.region}"
}

用于访问 s3 存储桶的代码：

try:
    s3 = boto3.client('s3')
    tags = s3.head_object(Bucket='bucket_name', Key='filename')
    print(tags['ResponseMetadata']['HTTPHeaders']['etag'])
except ClientError:
    traceback.print_exc()

无论我做什么，我都无法从容器任务boto3中访问 AWS 资源。Fargate我可以boto3在一个EC2实例上访问相同的 s3 存储桶，而无需提供任何类型的凭据，并且只使用 IAM 角色/策略。我究竟做错了什么？不能以相同的方式从 Fargate 容器访问 AWS 资源吗？

忘了提到我正在将 IAM 角色分配给任务定义执行策略和任务策略。

更新：事实证明unable to find credentials我遇到的错误是一个红鲱鱼。我无法获得凭据的原因是因为我的直接 ssh 会话没有AWS_CONTAINER_CREDENTIALS_RELATIVE_URI设置环境变量。

AWS Fargate 将注入一个以AWS_CONTAINER_CREDENTIALS_RELATIVE_URI您的名义命名的环境变量，其中包含 boto 应用于获取 API 访问凭证的 URL。所以这个Bad request错误是我实际得到的，需要帮助解决。我检查了容器内的环境变量，并且该AWS_CONTAINER_CREDENTIALS_RELATIVE_URI值由 Fargate 设置。

4

4 回答 4

20

我在这个问题上遇到了很多困难，并且经常AWS_CONTAINER_CREDENTIALS_RELATIVE_URI错误地设置为None，直到我在当前任务执行角色之外添加了一个自定义任务角色。

1)任务执行角色负责访问 ECR 中的容器并授予运行任务本身的访问权限，而2)任务角色负责您的 docker 容器向其他授权的 AWS 服务发出 API 请求。

1) 对于我使用AmazonECSTaskExecutionRolePolicy以下 JSON 的任务执行角色；

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ecr:GetAuthorizationToken",
                "ecr:BatchCheckLayerAvailability",
                "ecr:GetDownloadUrlForLayer",
                "ecr:BatchGetImage",
                "logs:CreateLogStream",
                "logs:PutLogEvents"
            ],
            "Resource": "*"
        }
    ]
}

2）我终于摆脱了NoCredentialsError: Unable to locate credentials当我除了任务执行角色之外还添加了一个任务角色，例如，负责从某个桶中读取；

{
    "Version": "2012-10-17",
    "Statement": [
           {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject"
            ],
            "Resource": "arn:aws:s3:::bucket_name/*"
        }
    ]
}

总之; 确保两者都具有以下角色：1) executionRoleArn用于运行任务和2) taskRoleArn用于向您的任务定义中设置的授权 AWS 服务发出 API 请求。

于 2019-04-02T02:59:46.633 回答
1

您应该需要一个 IAM 角色才能从您的 ecs-task 访问您的 S3 存储桶。

resource "aws_iam_role" "AmazonS3ServiceForECSTask" {
  assume_role_policy = <<EOF
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Principal": {
        "Service": [
          "ecs-tasks.amazonaws.com"
        ]
      },
      "Effect": "Allow",
      "Sid": ""
    }
  ]
}
EOF
}

data "aws_iam_policy_document" "bucket_policy" {
  statement {
    principals {
      type        = "AWS"
      identifiers = [aws_iam_role.AmazonS3ServiceForECSTask.arn]
    }

    actions = [
      "s3:ListBucket",
    ]

    resources = [
      "arn:aws:s3:::${var.your_bucket_name}",
    ]
  }
  statement {
    principals {
      type        = "AWS"
      identifiers = [aws_iam_role.AmazonS3ServiceForECSTask.arn]
    }

    actions = [
      "s3:GetObject",
    ]

    resources = [
      "arn:aws:s3:::${var.your_bucket_name}/*",
    ]
  }
}

您应该需要在任务定义的task_role_arn中添加您的 IAM 角色。

resource "aws_ecs_task_definition" "_ecs_task_definition" {
  task_role_arn               = aws_iam_role.AmazonS3ServiceForECSTask.arn
  execution_role_arn          = aws_iam_role.ECS-TaskExecution.arn
  family                      = "${var.family}"
  network_mode                = var.network_mode[var.launch_type]
  requires_compatibilities    = var.requires_compatibilities
  cpu                         = var.task_cpu[terraform.workspace]
  memory                      = var.task_memory[terraform.workspace]
  container_definitions       = module.ecs-container-definition.json
}

ECS Fargate 任务未应用角色

于 2020-05-13T16:15:21.967 回答
1

允许对您的容器实例角色进行 Amazon S3 只读访问

在https://console.aws.amazon.com/iam/打开 IAM 控制台。

在导航窗格中，选择角色。

选择要用于您的容器实例的 IAM 角色（此角色可能名为 ecsInstanceRole）。有关更多信息，请参阅 Amazon ECS 容器实例 IAM 角色。

在托管策略下，选择附加策略。

在附加策略页面上，对于过滤器，键入 S3 以缩小策略结果。

选中 AmazonS3ReadOnlyAccess 策略左侧的框，然后选择附加策略。

于 2018-08-13T09:26:42.353 回答
-3

Boto3 有一个凭证查找路线：https ://boto3.readthedocs.io/en/latest/guide/configuration.html 。当您使用 AWS 提供的映像创建 EC2 实例时，该实例会预安装 aws 命令和其他 AWS 凭证环境变量。然而，Fargate 只是一个容器。您需要手动将 AWS 凭证注入容器。一种快速的解决方案是将 AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 添加到 Fargate 容器。

于 2018-07-24T18:12:35.443 回答