json - 使用 Apache Drill 查询压缩的 gz 文件

Question

我有 Apache Drill 可以毫无问题地查询未压缩的 JSON 文件，但我正在努力处理 gz 压缩的 JSON 档案。

我的理解是，Drill 使用了我认为能够处理 gz 文件的 Hadoop 文件连接器，但似乎 Drill 的 JSON 查询功能总是锁定到 .json 文件。

我试过做这样的事情：

"formats": {
  "gz": {
    "type": "json"
  }
}

但是，收到文件未找到错误。也试过这个：

"formats": {
  "json": {
    "type": "json",
    "extensions": [
       "gz"
     ]
  }
}

这会导致“无效的 JSON 映射”错误。

Answer 1

这是已在最新的主分支（0.8）上修复的错误： https ://issues.apache.org/jira/browse/DRILL-1871

我的测试确认一切正常，仍然看到问题，但得到了一些结果。