0

我的应用程序将性能时间序列数据存储在 CrateDB 中，为了正确设置，我有几个问题，因为它每天将有大约 72M 条记录，并且应该可以适当扩展:)。我的目标是使用 Grafana 可视化生成的数据，目前我想到了以下结构：

CREATE TABLE metrics (
  ts TIMESTAMP,
  hostname STRING,
  servicename STRING, 
  perfdata OBJECT(DYNAMIC)
)

// for example
{
    "hostname": "localhost",
    "servicename": "ping",
    "timestamp": 1483699527,
    "perfdata": {
        "rta": {
            "current": 0.5,
            "unit": "ms",
            "warn": 100,
            "critical": 200
        },
        "pl": {
            "current": 0,
            "unit": "%",
            "warn": 10,
            "crit": 20
        }
    }
}

重要的位是主机/服务名称、指标的名称和值以及时间戳。这也将是替代模式：

 CREATE TABLE metrics (
   ts TIMESTAMP,
   hostname STRING,
   servicename STRING, 
   metric OBJECT(DYNAMIC) AS (
      unit STRING,
      name STRING,
      value DOUBLE,
   )       
 )

那么哪一种是存储数据的首选方式呢？我还需要分区吗？我的聚合通常显示过去 24 小时，很少显示上个月...

谢谢！

4

2 回答 2

0

一般来说，我建议使用第二个表模式，因为它更简单，它可以让您捕获原始数据（而不是预先组装的数据）并根据您的实际需要进行聚合。

但是，这个问题非常棘手，因为它在很大程度上取决于实际要求。所以本质上，组合模式会使更新变得棘手（对象只能被替换而不能更新），因此需要一起发送数据（并且可能以相同的速度收集？）。

最重要的是，设置分区可能很有用。这可以加快查询速度并允许更改未来分区的分片数量（并允许您更好地扩展）。常见的做法是按月或按周进行分区，在某些情况下也按天分区。但是必须注意防止分片数量爆炸，因为分片也需要系统资源。

由于数据源插件，CrateDB 与 Grafana 配合得非常好:)

于 2017-01-20T15:24:15.183 回答
0

现在才看到这个，我一直在玩 perdata (nagios) 和 cratedb。我们测试的（基于 mongodb 时间序列演示）是每小时存储并让 perfdata[ts]={perf object}（我们实际上测试了 perfdata['minute']['second']={}）

24 小时模式是 perfdata['hour']['minute']

因此，通过在主机/服务/上定义主键，您可以“重复键更新..”

所以按主机/服务/小时查询只是一个查询:-)

于 2017-03-09T08:39:33.403 回答