2

在从 Kafka 到 Druid 的摄取过程中，是否可以按维度值过滤数据？

例如考虑维度：version，可能有值：，，v1我只想加载。v2v3v2

我意识到可以使用 Spark/Flink/Kafka Streams 来完成，但也许有一个开箱即用的解决方案

4

2 回答 2

3

您可以transformSpec在摄取期间执行此操作。
http://druid.io/docs/latest/ingestion/transform-spec.html

根据文档：

转换规范允许 Druid 在摄取期间过滤和转换输入数据。

任何查询过滤器都可以应用于此。

过滤器的示例用法NOT：

"transformSpec": {
  "filter": {
    "type": "and",
    "fields": [
      {
        "type": "not",
        "field": {
          "type": "selector",
          "dimension": "my_dimension",
          "value": "filter_me"
        }
      },
      {
        "type": "not",
        "field": {
          "type": "selector",
          "dimension": "my_dimension",
          "value": "filter_me_also"
        }
      }
    ]
  },
  "transforms": []
}
于 2018-10-23T15:16:15.583 回答
1

从德鲁伊方面不可能，您需要事先过滤数据。

于 2017-03-20T21:03:41.127 回答