0

我在减速器中使用 MultipleOutputs。多个输出会将文件写入名为 NewIdentities 的文件夹。代码如下所示：

private MultipleOutputs<Text,Text> mos;
@Override
public void reduce(Text inputKey, Iterable<Text> values, Context context) throws IOException, InterruptedException {
        ......
        // output to change report
        if (ischangereport.equals("TRUE")) {
            mos.write(new Text(e.getHID()), new Text(changereport.deleteCharAt(changereport.length() - 1).toString()), "NewIdentities/");
        }
    }
}

@Override
public void setup(Context context) {
    mos = new MultipleOutputs<Text,Text>(context);
}

@Override
protected void cleanup(Context context) throws IOException, InterruptedException {
    mos.close();
}

它可以以前运行。但是当我今天运行它时，它会引发如下异常。我的hadoop版本是2.4.0。

错误：org.apache.hadoop.fs.FileAlreadyExistsException: /CaptureOnlyMatchIndex9/TEMP/ChangeReport/NewIdentities/-r-00000 客户端 192.168.71.128 已经存在于 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem .java:2297) 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2225) 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2178 ) 在 org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354) 在 org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:520)。 hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) 在 org.apache.hadoop.ipc。ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928) at org.apache.hadoop.ipc.Server$Handler$1.run (Server.java:2013) 在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject。 doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1548) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007) 在 sun .reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 在 sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 在 sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 在 java.lang.reflect.Constructor.newInstance （构造函数。java:526) at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106) at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73) at org.apache.hadoop.hdfs .DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1604) 在 org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1465) 在 org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1390) 在org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:394) 在 org.apache.hadoop.hdfs.DistributedFileSystem$6.doCall(DistributedFileSystem.java:390) 在 org.apache.hadoop.fs.FileSystemLinkResolver。 resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:390) at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:334) at org.apache .hadoop.fs.FileSystem.create(FileSystem.java:906) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:887) at org.apache.hadoop.fs.FileSystem.create(FileSystem.java: 784）在 org.apache.hadoop.mapreduce.lib.output.TextOutputFormat.getRecordWriter(TextOutputFormat.java:132) 在

4

1 回答 1

3

我找到了原因。因为在我的一个减速器中，它耗尽了内存。所以它隐式地抛出了一个内存不足的异常。hadoop 停止当前的多重输出。并且可能reducer的另一个线程想要输出，所以它创建了另一个多输出对象，所以发生了冲突。

于 2015-07-13T19:42:33.267 回答