1

我对带有嵌套字段的 Kudu 有疑问。

我有来自 Kafka 的 JSON，如下所示：

{
  "ts": 32,
  "status": "success",
  "uid": "3232",
  "url": "http://some_url",
  "syncpixel": "http://some_url",
  "dfp": {
    "DFP_UABrowser": "Chrome 61",
    "DFP_UAOperatingSystem": "Windows 7 ver.7.0",
    "JavascriptDisplayData_Screen_W_x_H": "1440 x 900",
    "Native_client": true
  }
}

dfpfield 有一个嵌套对象，我想通过 Flume 将这个对象插入到 kudu

我知道 kudu 不支持嵌套字段，并且支持二进制列。我需要做什么？

  1. 将字段转换dfp为二进制格式并读取例如 scala spark？
  2. 将 JSON 转换为扁平格式（但在许多情况下并不是最好的问题，例如带有产品 ID、名称和其他的流式产品购买或页面中的产品视图）。
4

1 回答 1

0

如果您使用 spark/scala 流，则在您拥有正确的设置集群时不会出现问题。通过 spark 读取整个 json 并使用“explode”函数将 json 展平。这将使生活更轻松。

于 2018-11-11T10:59:03.910 回答