0

我有一个应用程序，我在其中读取 HBase 并将记录写入文件。最终输出应该是 .zip 压缩格式，而不是 hadoop 支持的格式。为此，我使用自定义 ZipFileOutputFormat 来获取 .zip 文件中的记录。

这是我的实现

ZipFileOutputFormat.setOutputPath(job, new Path(args[1]));

这是 ZipFileOutputFormat.class 的详细信息

public class ZipFileOutputFormat extends FileOutputFormat<NullWritable, Text> {
    @Override
    public RecordWriter<NullWritable, Text> getRecordWriter(
            TaskAttemptContext job) throws IOException, InterruptedException {
        Path file = getDefaultWorkFile(job, ".zip");

        FileSystem fs = file.getFileSystem(job.getConfiguration());

        return new ZipRecordWriter(fs.create(file, false));
    }

    public static class ZipRecordWriter extends
            RecordWriter<NullWritable, Text> {
        protected ZipOutputStream zos;

        public ZipRecordWriter(FSDataOutputStream os) {
            zos = new ZipOutputStream(os);
        }

        @Override
        public void write(NullWritable key, Text value) throws IOException,
                InterruptedException {
            // TODO: create new ZipEntry & add to the ZipOutputStream (zos)
        }

        @Override
        public void close(TaskAttemptContext context) throws IOException,
                InterruptedException {
            zos.close();
        }
    }
}

我没有收到任何错误，但我的输出仍为 r-000001 格式。

我在这里缺少任何配置吗？

4

1 回答 1

0

我发现了问题。在作业配置中进行以下设置后，我的问题已被删除

LazyOutputFormat.setOutputFormatClass(job, ZipFileOutputFormat.class);

之前

LazyOutputFormat.setOutputFormatClass(job, TextInputFormat.class);

还设置

job.setOutputFormatClass(ZipFileOutputFormat.class);
于 2017-03-03T09:57:47.157 回答