1

我有一个 POJO，需要发送到另一个端点（某些服务器）。我已经决定使用avro来做到这一点。

到目前为止，我已经创建了我的Avro架构并生成了我的 DataFileWriter：

GenericRecord user1 = new GenericData.Record(schema);
user1.put("name", "Jenny");
user1.put("favorite_color", "green");


GenericRecord user2 = new GenericData.Record(schema);
user2.put("name", "Kevin");
user2.put("favorite_color", "red");

DatumWriter<GenericRecord> datumWriter = new GenericDatumWriter<GenericRecord>(schema);
DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<GenericRecord>(datumWriter);
dataFileWriter.create(schema, schemaFile);
dataFileWriter.append(user1);
dataFileWriter.append(user2);

这是我到目前为止所拥有的，我缺少以下内容：

我想在发送之前压缩数据，我宁愿使用snappy，我应该如何将它与我的代码结合起来？

更新： 添加了这些行：

// use snappy compression
CodecFactory codecFactory = CodecFactory.snappyCodec();
dataFileWriter.setCodec(codecFactory);

但我还不确定它是否能完成这项工作。

4

1 回答 1

1

使用这个：

    public byte[] serialize(T objectToSerialize) {
ByteArrayOutputStream out = new ByteArrayOutputStream();
DatumWriter<T> reflectDatumWriter = new ReflectDatumWriter<T>(avroSchema);
DataFileWriter<T> fileWriter = null;
try {
    fileWriter = new DataFileWriter<T>(reflectDatumWriter);
    fileWriter.setCodec(CodecFactory.snappyCodec());
    fileWriter.create(avroSchema, out);
    fileWriter.append(objectToSerialize);
    fileWriter.close();
} catch (Exception e) {
    LOG.error(e);
    return null;
}
return out.toByteArray();
}
于 2013-10-10T09:16:49.177 回答