mongodb - 如何将子文档数据数组从 mongodb 加载到 hive

Question

我们正在尝试在 hive 中使用 mongodb 数据，文档有子文档数组。如何将复杂数据加载到 hive 中？

这是示例 json：

{
    "_id" : ObjectId("582c8cb9913e2f21e062aaa6"),
    "acct" : NumberLong(12345),
    "history" : [ 
        {
            "startDate" : ISODate("2016-09-01T16:00:00.000Z"),
            "endDate" : ISODate("2016-09-30T16:00:00.000Z"),
            "averageDailyBal" : "2653.85"
        }, 
        {
            "startDate" : ISODate("2016-10-01T16:00:00.000Z"),
            "endDate" : ISODate("2016-10-31T16:00:00.000Z"),
            "averageDailyBal" : "1840.15"
        }, 
        {
            "startDate" : ISODate("2016-11-01T16:00:00.000Z"),
            "endDate" : ISODate("2016-11-30T17:00:00.000Z"),
            "averageDailyBal" : "2796.14"
        }
    ]
}

谢谢...

Answer 1

如您所知，MongoDB 中的数据是以 JSON 格式存储的，因此您可以使用任何 Json serde 来解析其中的数据。

参考这个