hadoop - 如何从德鲁伊数据源读取所有数据

Question

我正在使用下面的 json 从 druid 数据源中读取所有数据。但在请求阈值字段/值中是强制性的。它返回阈值中指定的行数。

{
  "queryType" : "select",
  "dataSource" : "wikiticker",
  "granularity" : "day",
  "intervals" : [ "1000/3000" ],
  "filter" :null,
  "dimensions" : [ ],
  "metrics" : [ ],
  "descending" : "false",
  "pagingSpec" : {
    "threshold" : 10000,
    "pagingIdentifiers" : null
  },
  "aggregations" : [ ]
}

有没有办法通过将阈值设置为从数据源返回所有数据的某个值来检索所有数据。

For eg:if intervals column is set to [ "1000/3000" ] gets data from all intervals.

Answer 1

系统的分布式特性使得很难准确计算每个时间间隔的行数，因此答案是否定的。另请记住，选择查询将实现内存中的所有行，因此您可能希望避免一次提取所有数据并使用分页规范。