1

我在 Ubuntu 12.04 上运行 Hadoop Pipes 作业,但是当减速器启动时出现 Broken Pipe 错误:

2013-04-17 10:40:38,088 INFO org.apache.hadoop.mapred.ReduceTask:将 0 个段,0 个字节从内存合并到 reduce 2013-04-17 10:40:38,088 INFO org.apache.hadoop.mapred。合并:合并 1 个已排序的段 2013-04-17 10:40:38,088 INFO org.apache.hadoop.mapred.Merger:到最后一个合并通道,总大小还剩下 1 个段:1795675 字节 2013-04-17 10:40:38,118 INFO org.apache.hadoop.mapred.pipes.PipesReducer:启动应用程序 2013-04-17 10:40:38,264 INFO org.apache.hadoop.mapred.pipes.PipesReducer:等待完成 2013-04- 17 10:40:38,265 错误 org.apache.hadoop.mapred.pipes.BinaryProtocol:java.net.SocketException:在 java.net.SocketInputStream.read 的 java.net.SocketInputStream.read(SocketInputStream.java:189) 处的连接重置(SocketInputStream.java:121) 在 java.io.BufferedInputStream。fill(BufferedInputStream.java:235) at java.io.BufferedInputStream.read(BufferedInputStream.java:254) at java.io.DataInputStream.readByte(DataInputStream.java:265) at org.apache.hadoop.io.WritableUtils.readVlong (WritableUtils.java:299) 在 org.apache.hadoop.io.WritableUtils.readVInt(WritableUtils.java:320) 在 org.apache.hadoop.mapred.pipes.BinaryProtocol$UplinkReaderThread.run(BinaryProtocol.java:121)121)121)

2013-04-17 10:40:38,265 INFO org.apache.hadoop.mapred.pipes.Application:由于 java.net.SocketException 而中止:java.net 的 java.net.SocketOutputStream.socketWrite0(本机方法)的管道损坏.SocketOutputStream.socketWrite(SocketOutputStream.java:109) at java.net.SocketOutputStream.write(SocketOutputStream.java:153) at java.io.BufferedOutputStream.flushBuffer(BufferedOutputStream.java:82

任何帮助表示赞赏,在此先感谢。

4

0 回答 0