map - Hadoop：键和值在输出文件中以制表符分隔。如何做到分号分隔？

Question

我认为标题已经在解释我的问题。我想改

key (tab space) value

进入

key;value

在所有输出文件中，reducer 都是从映射器的输出生成的。

我无法使用谷歌找到关于此的好的文档。谁能提供一些关于如何实现这一目标的代码？

Answer 1

将配置属性设置mapred.textoutputformat.separator为";"

Answer 2

由于缺乏更好的文档，以下是我收集的内容：

    setTextOutputFormatSeparator(final Job job, final String separator){
            final Configuration conf = job.getConfiguration(); //ensure accurate config ref

            conf.set("mapred.textoutputformat.separator", separator); //Prior to Hadoop 2 (YARN)
            conf.set("mapreduce.textoutputformat.separator", separator);  //Hadoop v2+ (YARN)
            conf.set("mapreduce.output.textoutputformat.separator", separator);
            conf.set("mapreduce.output.key.field.separator", separator);
            conf.set("mapred.textoutputformat.separatorText", separator); // ?
    }

Answer 3

您可以使用“KeyValueLineRecordReader”的“KEY_VALUE_SEPERATOR”属性来指定您选择的分隔符。