1

使用 make.output.format 的 avro 输出格式的示例实现使用“字节”作为模式。相反,我想为 avro 文件指定一个 json 模式。我找不到我们如何做到这一点。我想会有一些 backend.parameters 来定义它。

avro.output.format =
  function(kv, con)
    writeLines(
      unlist(
        rmr2:::reduce.keyval(
          kv,
          function(k, v)
            paste(
              toJSON(k, .escapeEscapes = TRUE),
              toJSON(v, .escapeEscapes = TRUE),
              sep = "\t"))),
      con = con)

avroOF =
  make.output.format(
    format = avro.output.format,
    mode = "text",
    streaming.format = "org.apache.avro.mapred.AvroTextOutputFormat",
    backend.parameters =
      list(
        hadoop =
          list(
            libjars = avro.jar)))
4

0 回答 0