1

我有以下 Avro 架构：

{
"name": "schema_name",
"type": "record",
"fields" : [
{
"name": "schema",
"type": "string"
},
{
  "name": "data",
  "type": {
    "type": "array",
    "items":
      {
        "name": "data",
        "type": "record",
        "fields": [
          {
            "name": "phone_number",
            "type": "string"
          }
        ]
      }
  }
},
{
  "name":"flag",
  "type":"string"
}
]
}

我正在使用它从文本文件中生成 Avro 消息：

def main(args: Array[String]): Unit = {
  val avroSchemaStr = Source.fromFile("avro_schema.txt").mkString
  val avroSchema = new Schema.Parser().parse(avroSchemaStr)

  Source.fromFile("phone_numbers.txt").getLines.foreach { msg =>
    println(fixedWidthToAvro(msg, avroSchema))
  }
}

def fixedWidthToAvro(record: String, avroSchema: Schema): GenericRecord = {
  val childSchema = new GenericData.Record(avroSchema).getSchema.getField("data").schema.getElementType
  val parentRrecord = new GenericData.Record(avroSchema)
  val childRecord = new GenericData.Record(childSchema)

  childRecord.put("phone_number", "1234567890")
  parentRrecord.put("schema", "schema_name")
  parentRrecord.put("data", childRecord)
  parentRrecord.put("flag", "I")

  println(parentRrecord)
  parentRrecord
}

一切正常，我得到给定消息的以下输出：

{"schema": "schema_name", "data": {"phone_number": "1234567890"}, "flag": "I"}

但是，当我声明data字段类型时，array我期望它像集合一样包裹在方括号中。就像是：

{"schema": "schema_name", "data": [{"phone_number": "1234567890"}], "flag": "I"}

我希望将data文件括在方括号中。我怎样才能做到这一点？

4

1 回答 1

1

记录中有两个名为 的元素data。一个是数组，另一个是该数组中的元素名称，我认为这就是让您感到困惑的地方。

当您传递schema.getElementType到 时Record，您正在生成一条记录，而忽略了创建一个Array[Record]来保存所有这些记录。

您需要的是一个能够容纳所有记录的数组：

val avroSchema = new Schema.Parser().parse(schema)
val childSchema = new GenericData.Record(avroSchema).getSchema.getField("data").schema

val parentRecord = new GenericData.Record(avroSchema)
val childRecords = new GenericData.Array[GenericData.Record](1024, childSchema)

val childRecord = new GenericData.Record(childSchema.getElementType)

childRecord.put("phone_number", "33333")
childRecords.add(childRecord)

parentRecord.put("schema", "schema_name")
parentRecord.put("data", childRecords)
parentRecord.put("flag", "I")

println(parentRecord)

产量：

{"schema": "schema_name", "data": [{"phone_number": "33333"}], "flag": "I"}
于 2018-10-17T11:50:34.910 回答