1

我尝试运行数据管道作业，但 EmrActivity 步骤达到了 FAILED 状态，但没有错误代码或错误消息：

名称：@EMR 集群执行工作_2013-09-03T16:15:00 查看实例字段说明：最近尝试次数：3，剩余尝试次数：0 选择此实例的尝试次数：

状态：失败错误代码：错误消息：

知道为什么吗？我在哪里可以找到有关潜在问题的更多信息？

工作很简单：启动 EMR 集群并运行一个 pig 脚本（其中 xxx 是我的存储桶名称）：

    {
    “对象”：[
    {
    "id":"默认",
    “failureAndRerunMode”：“级联”
    },
    {
    "id" : "MyScheduleID",
    “类型”：“时间表”，
    "期间" : "1 小时",
    “开始日期时间”：“2013-09-03T19:00:00”，
    “结束日期时间”：“2013-09-03T20:00:00”
    },
    {
    "id" : "MyEmrCluster",
    "name" : "执行工作的 EMR 集群",
    “类型”：“EmrCluster”，
    “hadoopVersion”：“0.20”，
    “masterInstanceType”：“m1.small”，
    “coreInstanceType”：“m1.medium”，
    “coreInstanceCount”：“2”，
    "terminateAfter": "1 小时",
    “日程”： {
    "ref": "MyScheduleID"
    },
    "logUri":"s3://xxx/amazonlogs",
    "emrLogUri":"s3://xxx/amazonlogs"
    },

    {
    "id" : "MyEmrActivity",
    "name" : "对我的数据执行的工作",
    “类型”：“EmrActivity”，
    “runsOn”：{“ref”：“MyEmrCluster”}，
    “日程”： {
    "ref": "MyScheduleID"
    },
    “步骤”：“s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,s3://us-east-1.elasticmapreduce/libs/pig/pig-script,- -base-path,s3://us-east-1.elasticmapreduce/libs/pig/,--install-pig,--pig-versions,latest",
    “步骤”：“s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,s3://us-east-1.elasticmapreduce/libs/pig/pig-script,- -base-path,s3://us-east-1.elasticmapreduce/libs/pig/,--pig-versions,latest,--run-pig-script,--args,-f,s3://xxx /carls_minimal_script.pig"
    }

    ]
    }

这个配置看起来好吗？我在 s3://xxx/amazonlogs 中看不到任何内容

4

1 回答 1

2

您可以尝试以下几件事

  1. 转到“ https://console.aws.amazon.com/elasticmapreduce/home ”，找到启动的相应集群（基于时间戳），单击“调试”，您应该会找到有关每个步骤的日志。

  2. 或者从 AWS 控制台启动一个 EMR 集群，登录到主节点，运行 Pig 脚本来检查它是否工作。

于 2013-09-12T18:11:11.917 回答