1

使用 Elastic Map Reduce 时出现错误，我不确定这意味着什么，因为它的描述性不强。我想具体知道我得到什么样的 JSONDecodeError。“12”不是描述性的。这是输出。我正在使用 MRjob 类

writing to step-0-mapper_part-00000
writing to step-0-mapper_part-00001
Counters from step 1:
  Undecodable input:
    JSONDecodeError: 12
  Unencodable output:
   TypeError: 2
writing to /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper-sorted
> sort /tmp/emr_irene.ec2-user.20130716.171313.288877/step-0-mapper_part-00000 /tmp/emr_irene.ec2-     user.20130716.171313.288877/step-0-mapper_part-00001
writing to step-0-reducer_part-00000
Counters from step 1:
 Undecodable input:
 JSONDecodeError: 12
 Unencodable output:
   TypeError: 2
4

2 回答 2

1

在这种情况下，数字 12 是您遇到的 json 编码错误的数量。要具体找出他们失败的原因，我知道的最好方法是减少您的输入集并通过重新运行作业来对问题进行三角测量。

于 2014-07-17T17:24:05.003 回答
0

如果您在 Amazon AWS 上工作，您可以运行以下脚本，您将获得有关错误的更多信息：

python -m mrjob.tools.emr.fetch_logs --find-failure YOUR_JOB_ID
于 2017-01-18T19:32:40.067 回答