hadoop - 在 Hadoop 中使用 MapFileOutputFormat

Question

我们可以在哪个版本的hadoop中设置。

job.setOutputFormatClass(MapFileOutputFormat.class);//ERROR/ 

基本上我有一些键值对，我想在文件中以排序方式写入，然后再读取它们。有什么办法可以使用任何现有的 hadoop 功能来做到这一点。我不想为它写一个 map reduce 任务。

Answer 1

在旧 API（版本 1.x）中：

Job job = Job.getInstance(conf);
job.setsetOutputFormat(org.apache.hadoop.mapred.MapFileOutputFormat.class);

在我们所说的新 API 中（从版本 2 开始）：

JobConf conf = new JobConf(conf);
job.setOutputFormatClass(org.apache.hadoop.mapreduce.lib.output.MapFileOutputFormat.class);

Answer 2

看：

http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.20.0/src/mapred/org/apache/hadoop/mapred/MapFileOutputFormat.java

它从 Hadoop 0.20.0 开始可用。您必须使用高于该版本的版本。