0

当前设置：
- Hadoop 0.20.2-cdh3u3
- Hbase 版本 0.90.4-cdh3u3
- Jetty-6.1.14
- 在 VM 上运行（Debian Squeeze）

在 Hbase 表的 mapreduce 过程中出现问题。在 Reduce 阶段，它每次在 tasktracker.log 中的这些日志的同一点崩溃：

ERROR org.apache.hadoop.mapred.TaskTracker: getMapOutput(attempt_201205290717_0001_m_000010_0,3) failed:
org.mortbay.jetty.EofException

WARN org.mortbay.log: Committed before 410 getMapOutput(attempt_201205290717_0001_m_000010_0,3) failed :
org.mortbay.jetty.EofException

ERROR org.mortbay.log: /mapOutput
java.lang.IllegalStateException: Committed

希望任何人以前遇到过相同或相似的问题，寻找解决方案。

4

2 回答 2

1

我在这里面临同样的问题。

在我的集群上，这发生在除一个之外的所有从属服务器（datanode 和 tasttrackers）上，这导致一般减少过程首先进展非常缓慢，并且由于某些错误，在某个时间点重新滚动到目前为止的减少进度。然后reduce过程重新开始：工作永远不会完成。

bugtracker 中有一个未解决的主要问题。请参阅https://issues.apache.org/jira/browse/MAPREDUCE-5

让我们希望，有一天它会被修复，但此刻，我根本无法使用大于 3 GB 的大文件的 hadoop 程序。就我而言，我希望，我可以通过额外的数据清理和更有效的数据结构（trove、fastutils）来修复它，所以问题根本不会发生，但老实说，这感觉有点像这里的错误方法。无论如何，不​​做那些较小的调整是从 hadoop 开始的主要原因。

于 2012-08-31T09:55:50.653 回答
0

EOFException当 reduce 任务过早关闭与码头服务器的连接时，会观察到码头。重新启动任务跟踪器并再次运行作业。看看它是否适合你。

于 2012-05-29T19:29:51.510 回答