1

大家，早安，

我正在开发一个运行 Hadoop Pipes 1.1.2 的完整集群，我发现这些错误适用于很长的工作：

2013-07-24 06:13:55,058 ERROR org.apache.hadoop.mapred.pipes.BinaryProtocol: java.io.IOException: Bad command code: 48
    at org.apache.hadoop.mapred.pipes.BinaryProtocol$UplinkReaderThread.run(BinaryProtocol.java:157)

（这个一对一节点）

2013-07-24 06:18:03,472 ERROR org.apache.hadoop.mapred.pipes.BinaryProtocol: java.lang.NegativeArraySizeException
    at org.apache.hadoop.mapred.pipes.BinaryProtocol$UplinkReaderThread.readObject(BinaryProtocol.java:180)
    at org.apache.hadoop.mapred.pipes.BinaryProtocol$UplinkReaderThread.run(BinaryProtocol.java:132)

（其余执行reduce任务的这个）

这是我的减速器代码。我使用那里的地图按字符串中的辅助键进行排序，也欢迎任何性能改进！

void ACEReducer::reduce(HadoopPipes::ReduceContext& context) {
    string fragmento, instante, contenido;
    size_t pos;

    string fichero = string();
    map<string, string> resultados;

    // Ordena la lista de valores para escribirlos conforme al instante simulado (map se encarga de la ordenacon)
    int nValores = 0;
    while (context.nextValue()) {
        fragmento = context.getInputValue();
        pos = fragmento.find("\t", 0);

        if (pos == string::npos) {
            cerr << "ERROR - Valor erroneo en Reduce." << endl;
        } else {
            instante = fragmento.substr(0, pos);
            contenido = fragmento.substr(pos+1, string::npos);

            resultados.insert(pair<string&, string&>(instante, contenido));
        }

        nValores++;
        if (nValores % 10 == 0) {
            context.progress();
        }
    }

    // Concatena los resultados ordenados y los emite para escritura.
    nValores = 0;
    for (map<string, string>::iterator it=resultados.begin(); it!=resultados.end(); it++){
        nValores++;
        if (nValores % 10 == 0) {
            context.progress();
        }
        fichero += it->second;
    }
    context.emit(context.getInputKey(), fichero);
}

抛出 IOException 的代码在 Java BinaryProtocol 的 run() 函数中；它可以在第 120 行找到。 NegativeArraySizeException 在第 133 行和第 149 行之间的某处被抛出；我的猜测是int numBytes = WritableUtils.readVInt(inStream);高于 INT_MAX 但我不知道如何解决它。

HDFS 在所有节点中看起来都很健康，仅使用了约 3%。我正在使用非常强大的节点，至少有 64GB 的 RAM。

我已经搜索了这个问题，但没有找到任何提示，因此非常感谢任何帮助。

提前致谢，

里奥

4

0 回答 0