0

我在我的 80 个节点的本地 hadoop 集群上运行的 Map reduce 作业中看到以下异常。此堆栈跟踪不指向我的代码，我想它可能与某些权限问题有关。一件有趣的事情是，如果我将它作为系统帐户运行，这项工作就会像这样失败。如果我以自己的身份运行它，则工作运行得很好。

java.lang.RuntimeException: java.io.EOFException
    at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:103)
    at org.apache.hadoop.mapreduce.ReduceContext.nextKeyValue(ReduceContext.java:120)
    at org.apache.hadoop.mapreduce.ReduceContext.nextKey(ReduceContext.java:92)
    at org.apache.hadoop.mapreduce.Reducer.run(Reducer.java:175)
    at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:649)
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:417)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.io.EOFException
    at java.io.DataInputStream.readByte(DataInputStream.java:250)
    at org.apache.pig.impl.io.PigNullableWritable.readFields(PigNullableWritable.java:115)
    at org.apache.hadoop.io.WritableComparator.compare(WritableComparator.java:100)
    ... 10 more

任何帮助在这里表示赞赏。如果您需要更多信息，请告诉我。

4

1 回答 1

0

这很奇怪，但权限不是这里的问题。这是两个用户选择的 hadoop 配置不同。我解决了这个问题，它现在似乎可以工作了。谢谢

于 2012-12-27T02:25:34.353 回答