10

完全按照此页面上的分步说明，我正在尝试将我的一个 DynamoDB 表的内容导出到 S3 存储桶。我完全按照指示创建了一个管道，但它无法运行。似乎无法识别/运行 EC2 资源来进行导出。当我通过 AWS 控制台访问 EMR 时，我看到如下条目：

Cluster: df-0..._@EmrClusterForBackup_2015-03-06T00:33:04Terminated with errorsEMR service role arn:aws:iam::...:role/DataPipelineDefaultRole is invalid

为什么我会收到此消息？我是否需要设置/配置其他东西才能运行管道？

更新：在IAM->RolesAWS 控制台下，我看到了这个DataPipelineDefaultResourceRole：

{
    "Version": "2012-10-17",
    "Statement": [{
    "Effect": "Allow",
    "Action": [
        "s3:List*",
        "s3:Put*",
        "s3:Get*",
        "s3:DeleteObject",
        "dynamodb:DescribeTable",
        "dynamodb:Scan",
        "dynamodb:Query",
        "dynamodb:GetItem",
        "dynamodb:BatchGetItem",
        "dynamodb:UpdateTable",
        "rds:DescribeDBInstances",
        "rds:DescribeDBSecurityGroups",
        "redshift:DescribeClusters",
        "redshift:DescribeClusterSecurityGroups",
        "cloudwatch:PutMetricData",
        "datapipeline:PollForTask",
        "datapipeline:ReportTaskProgress",
        "datapipeline:SetTaskStatus",
        "datapipeline:PollForTask",
        "datapipeline:ReportTaskRunnerHeartbeat"
    ],
    "Resource": ["*"]
    }]
}

这对于DataPipelineDefaultRole：

{
    "Version": "2012-10-17",
    "Statement": [{
    "Effect": "Allow",
    "Action": [
        "s3:List*",
        "s3:Put*",
        "s3:Get*",
        "s3:DeleteObject",
        "dynamodb:DescribeTable",
        "dynamodb:Scan",
        "dynamodb:Query",
        "dynamodb:GetItem",
        "dynamodb:BatchGetItem",
        "dynamodb:UpdateTable",
        "ec2:DescribeInstances",
        "ec2:DescribeSecurityGroups",
        "ec2:RunInstances",
        "ec2:CreateTags",
        "ec2:StartInstances",
        "ec2:StopInstances",
        "ec2:TerminateInstances",
        "elasticmapreduce:*",
        "rds:DescribeDBInstances",
        "rds:DescribeDBSecurityGroups",
        "redshift:DescribeClusters",
        "redshift:DescribeClusterSecurityGroups",
        "sns:GetTopicAttributes",
        "sns:ListTopics",
        "sns:Publish",
        "sns:Subscribe",
        "sns:Unsubscribe",
        "iam:PassRole",
        "iam:ListRolePolicies",
        "iam:GetRole",
        "iam:GetRolePolicy",
        "iam:ListInstanceProfiles",
        "cloudwatch:*",
        "datapipeline:DescribeObjects",
        "datapipeline:EvaluateExpression"
    ],
    "Resource": ["*"]
    }]
}

这些是否需要以某种方式进行修改？

4

4 回答 4

3

我遇到了同样的错误。

在 IAM 中，将AWSDataPipelineRole托管策略附加到DataPipelineDefaultRole

我还必须将信任关系更新为以下内容（需要文档中没有的 ec2）：

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "ec2.amazonaws.com",
          "elasticmapreduce.amazonaws.com",
          "datapipeline.amazonaws.com"
        ]
      },
      "Action": "sts:AssumeRole"
    }
  ]
}
于 2016-11-16T04:38:58.067 回答
2

AWS 论坛中有一个类似的问题，它似乎与托管策略的问题有关

https://forums.aws.amazon.com/message.jspa?messageID=606756

在该问题中，他们建议对访问和信任策略使用特定的内联策略来定义更改某些权限的角色。奇怪的是，可以在以下位置找到具体的内联策略

http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-iam-roles.html

于 2015-11-08T13:07:58.577 回答
0

问题可能与 IAM 角色有关。

它可能会有所帮助，尽管并非在所有情况下都如此。当我尝试使用数据管道将 dynamodb 数据导出到 S3 时，我遇到了同样的问题。问题在于资源角色 - DataPipelineDefaultResourceRole 和角色 - 数据管道中使用的 DataPipelineDefaultRole 角色

解决方案 转到 IAM -> Roles -> DataPipelineDefaultResourceRole 并将 AmazonDynamoDBFullAccess 和 AmazonS3FullAccess 策略附加到此角色。对 DataPipelineDefaultRole 执行相同的操作。

请注意：您应该根据您的用例提供受限的 DynamoDB 和 S3 访问权限。

立即尝试运行您的数据管道。它将处于运行状态。

于 2021-05-23T14:20:15.150 回答
0

我遇到过同样的问题。就我而言，托管策略是正确的，但我必须使用上面链接到的文档 Gonfva 更新 DataPipelineDefaultRole 和 DataPipelineDefaultResourceRole 角色的信任关系，因为它们已经过时了。

于 2017-04-10T07:10:08.283 回答