使用 make.output.format 的 avro 输出格式的示例实现使用“字节”作为模式。相反,我想为 avro 文件指定一个 json 模式。我找不到我们如何做到这一点。我想会有一些 backend.parameters 来定义它。
avro.output.format =
function(kv, con)
writeLines(
unlist(
rmr2:::reduce.keyval(
kv,
function(k, v)
paste(
toJSON(k, .escapeEscapes = TRUE),
toJSON(v, .escapeEscapes = TRUE),
sep = "\t"))),
con = con)
avroOF =
make.output.format(
format = avro.output.format,
mode = "text",
streaming.format = "org.apache.avro.mapred.AvroTextOutputFormat",
backend.parameters =
list(
hadoop =
list(
libjars = avro.jar)))