2

我正在尝试使用 MultipleOutputs api（Hadoop 版本 1.0.3）从 cassandra 读取并将减速器输出写入多个输出文件。在我的例子中，文件格式是扩展 FileOutputFormat 的自定义输出格式。我以与MultipleOutputs api中所示类似的方式配置了我的工作。但是，当我运行该作业时，我只得到一个名为 part-r-0000 的输出文件，它是文本输出格式。如果job.setOutputFormatClass()未设置，默认情况下它认为 TextOutputFormat 是格式。此外，它只允许初始化两个格式类之一。它完全忽略了我在MulitpleOutputs.addNamedOutput(job, "format1", MyCustomFileFormat1.class, Text.class, Text.class) and MulitpleOutputs.addNamedOutput(job, "format2", MyCustomFileFormat2.class, Text.class, Text.class). 是其他人面临类似的问题还是我做错了什么？

我还尝试编写一个非常简单的 MR 程序，它从文本文件中读取并以 2 种格式 TextOutputFormat 和 SequenceFileOutputFormat 写入输出，如 MultipleOutputs api 所示。但是，那里也没有运气。我只得到 1 个文本输出格式的输出文件。

有人可以帮我弄这个吗 ？

Job job = new Job(getConf(), "cfdefGen");
job.setJarByClass(CfdefGeneration.class);

//read input from cassandra column family
ConfigHelper.setInputColumnFamily(job.getConfiguration(), KEYSPACE, COLUMN_FAMILY);
job.setInputFormatClass(ColumnFamilyInputFormat.class);
job.getConfiguration().set("cassandra.consistencylevel.read", "QUORUM");

//thrift input job configurations
ConfigHelper.setInputRpcPort(job.getConfiguration(), "9160");
ConfigHelper.setInputInitialAddress(job.getConfiguration(), HOST);
ConfigHelper.setInputPartitioner(job.getConfiguration(), "RandomPartitioner");

SlicePredicate predicate = new SlicePredicate().setColumn_names(Arrays.asList(ByteBufferUtil.bytes("classification")));
//ConfigHelper.setRangeBatchSize(job.getConfiguration(), 2048);
ConfigHelper.setInputSlicePredicate(job.getConfiguration(), predicate);

//specification for mapper
job.setMapperClass(MyMapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);

//specifications for reducer (writing to files)
job.setReducerClass(ReducerToFileSystem.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
//job.setOutputFormatClass(MyCdbWriter1.class);
job.setNumReduceTasks(1);

//set output path for storing output files
Path filePath = new Path(OUTPUT_DIR);
FileSystem hdfs = FileSystem.get(getConf());
if(hdfs.exists(filePath)){
    hdfs.delete(filePath, true);
}
MyCdbWriter1.setOutputPath(job, new Path(OUTPUT_DIR));

MultipleOutputs.addNamedOutput(job, "cdb1', MyCdbWriter1.class, Text.class, Text.class);
MultipleOutputs.addNamedOutput(job, "cdb2", MyCdbWriter2.class, Text.class, Text.class);

boolean success = job.waitForCompletion(true);
return success ? 0:1;

public static class ReducerToFileSystem extends Reducer<Text, Text, Text, Text>
{
    private MultipleOutputs<Text, Text> mos;

    public void setup(Context context){
        mos = new MultipleOutputs<Text, Text>(context);
    }

    //public void reduce(Text key, Text value, Context context) 
    //throws IOException, InterruptedException (This was the mistake, changed the signature and it worked fine)
    public void reduce(Text key, Iterable<Text> values, Context context)
    throws IOException, InterruptedException
    {
        //context.write(key, value);
        mos.write("cdb1", key, value, OUTPUT_DIR+"/"+"cdb1");
        mos.write("cdb2", key, value, OUTPUT_DIR+"/"+"cdb2");
        context.progress();
    }

    public void cleanup(Context context) throws IOException, InterruptedException {
        mos.close();
    }
}

public class MyCdbWriter1<K, V> extends FileOutputFormat<K, V> 
{
    @Override
    public RecordWriter<K, V> getRecordWriter(TaskAttemptContext job) throws IOException, InterruptedException 
    {
    }

    public static void setOutputPath(Job job, Path outputDir) {
        job.getConfiguration().set("mapred.output.dir", outputDir.toString());
    }

    protected static class CdbDataRecord<K, V> extends RecordWriter<K, V>
    {
        @override
        write()
        close()
    }
}
4

2 回答 2

3

调试后我发现我的reduce方法从未被调用过。我发现我的函数定义与 API 的定义不匹配，将其public void reduce(Text key, Text value, Context context)从public void reduce(Text key, Iterable<Text> values, Context context). 我不知道为什么 reduce 方法没有 @Override 标记，它可以防止我的错误。

于 2012-10-23T21:43:23.580 回答
0

我也遇到了一个类似的问题 - 我的结果是我在 Map 过程中过滤了我的所有记录，所以没有任何东西被传递给 Reduce。在 reduce 任务中使用未命名的多个输出，这仍然会导致一个_SUCCESS文件和一个空part-r-00000文件。

于 2018-02-21T09:31:05.047 回答