4

我正在尝试从此 json 上传数据：

JSON-A

[
  {"name": "james", "id": 41},
  {"name": "scott", "id": 62},
  {"name": "abhi", "id": 16},
  {"name": "kevin", "id": 53},
  {"name": "beau", "id": 12},
  {"name": "shally", "id": 35},
  {"name": "jude", "id": 53},
  {"name": "jason", "id": 77},
  {"name": "hongjian", "id": 35},
  {"name": "madhur", "id": 6}
]

如果它具有父“数据”键，例如

JSON-B

["data":{"name": "james","id": 41"},{.....}]

然后我知道我可以这样做：

CREATE EXTERNAL TABLE IF NOT EXISTS test.test (
  `data` array<struct<`name`:string,`id`:bigint>>
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
) LOCATION 's3://test-bucket/';

但是 JSON-A 应该怎么做呢？

4

2 回答 2

4

我认为这不会起作用，因为 Hive/SerDe 假设您的文本文件每行包含一条记录。从org.openx.data.jsonserde.JsonSerDe 文档：

  1. 每行一条记录-尽管我不确定您的示例是否在多行方面是字面意思，但该示例确实在同一行中包含多个记录。

重要的！！！请阅读以下内容！！Json 记录必须是每行一个，也就是说，serde 不会与多行 Json 一起工作。

  1. 数组示例每行一个- serde 示例确实展示了如何使用数组，但同样，不是在同一行中包含多个记录的顶级数组。
于 2017-01-11T01:25:31.200 回答
3

您必须在 's3://test-bucket/' 中保存一个文件：
{"name": "james", "id": 41} {"name": "scott", "id": 62} {"name": "abhi", "id": 16} {"name": "kevin", "id": 53} {"name": "beau", "id": 12} {"name": "shally", "id": 35} {"name": "jude", "id": 53} {"name": "jason", "id": 77} {"name": "hongjian", "id": 35} {"name": "madhur", "id": 6}

于 2017-01-11T08:23:05.593 回答