0

我有一个嵌套的 JSON 文件，其中每条记录的嵌套部分可能包含一组不同的字段。该字段看起来像这样，尽管这实际上是 avro 版本：

{"type":"record",
 "name":"features",
 "namespace":"OurCode",
 "fields":[{"name":"key","type":"long"},
       {"name":"features",
        "type":{"type":"map","values":"double"}}]
}

第二个字段“特征”是一个嵌套字段，其中包含多个字段，每条记录都包含一组可能不同的嵌套字段。

因此，如果我有 2 条如下所示的记录：

key1: 123   features:{var1=4, var2 = 3, var4 = 10}
key2: 456   features:{var3 = 15, var4 = 9, var5 = 22}

我需要将上述数据转换为如下所示的内容：

Key     Var1   Var2   Var3   Var4   Var5
123       1      3     0      10     0
456       0      0     15      9     22

当我使用以下方式读取文件时，我可以手动提取字段：

JsonLine(args("input"), ('acct_id, Symbol("features.Var1"). Symbol("features.Var2), ...)
  .read

我想要一些更通用的代码，并且可以弄清楚所有子字段是什么，而无需我明确声明它们中的每一个。

谢谢你的帮助。

4

1 回答 1

0

JsonLine 没有您正在寻找的那种功能，我已经阅读了源代码和示例，但找不到类似的东西。

事实上，过去几天我也在同一条战线上进行探索，但找不到任何好的 json 解析器。JsonLine 很乏味，但做得很好。

于 2015-02-24T02:34:36.643 回答