hadoop - 长期滚动窗口聚合 - 时间序列 kudu vs influxdb vs opentsdb

Question

我希望对大量客户交易数据进行一些分析。我们有数以百万计的交易事件进来，并为各种实体提供了一些数量和时间戳值；

{
  "txId": "tx123"
  "item": "i87"
  "qty": 3
  "time": "2016-10-31 01:42:54"
}

我想在日、周级别和滑动窗口保持一系列聚合，例如过去 28 周交易qty的项目总和。i87

似乎有很多选择，包括像 InfluxDB 或 OpenTSDB 这样的时间序列数据库。然而，其中大多数似乎都针对聚合周期较短的指标和监控。这样的系统将如何应对小型和大型滚动窗口？

Answer 1

您不能将 JSON 发送到 InfluxDB。它使用线路协议。除非您以某种方式考虑将 JSON 转换为这种线路协议，否则在我看来，您更多的是在寻找某种 ELK 堆栈。Elasticsearch 是开源且免费的，但如果您想要身份验证（如 SHIELD），则必须付费。（或者您可以使用 Nginx 反向代理）您可以将 JSON 发送到 ELK，它可以自动解析字段，然后您可以对其进行分析。