问题标签 [kairosdb]

有没有一种快速的方法来确定特定指标占用了多少磁盘空间？

我有 300 万条记录，其中包含以下条目：

这些是每个建筑物的 1 年抄表读数，每小时收集一次 building_id。

我的起始数据时间戳为：1359695700，结束时间戳为：1422853200。我想查询此数据库以获得以下信息：

我编写了以下两个查询来获取上述两个查询的结果：

查询1：

{ "start_absolute":1359695700, "end_absolute":1422853200, "metrics":[{"tags":{"Building_id":["100"]},"name":"meterreadings","aggregators":[{"名称":"avg","align_sampling":true,"sampling":{"value":"1","unit":"hours"}}]}]}

响应：200 {"queries":[{"sample_size":70168,"results":[{"name":"meterreadings","group_by":[{"name":"type","type":"number "}],"tags":{"Building_id":["100"],"building_type":["MiddleSchool"],"meter_type":["temperature"],"unit":["F"]}, "values":[[1359695700,42.45377343113282],[1360800000,36.42662912912908],[1364400000,41.12510250000007],[1368000000,54.915547499999946],[1371600000,65.07990000000015],[1375200000,55.8904375],[1378800000,47.33335249999986],[1382400000, 38.952450000000034],[1386000000,41.99267000000001],[1389600000,41.28209500000009],[1393200000,40.31645895895911],[1396800000,40.758327499999915],[1400400000,54.05608750000002],[1404000000,63.410385]，[1407600,000,65.38089749999993]，[1411200000,45.99822500000001]，[1414800000,39.669450137465724]

查询 2：

{ "start_absolute":1359695700, "end_absolute":1422853200, "metrics":[{"tags":{"Building_id":["100"]},"name":"meterreadings","aggregators":[{"名称":"sum","align_sampling":true,"sampling":{"value":"1","unit":"months"}}]}]}

响应：200 {"queries":[{"sample_size":70168,"results":[{"name":"meterreadings","group_by":[{"name":"type","type":"number "}],"tags":{"Building_id":["100"],"building_type":["MiddleSchool"],"meter_type":["temperature"],"unit":["F"]}, “价值观”：[[1359695700,3337957.570000005]]}]}]}

我没有得到我所期望的，我错过了什么。

on running this query:

{ "start_absolute":1359695700000, "end_absolute":1422853200000, "metrics":[{"tags":{"Building_id":["100"]},"name":"meterreadings","group_by":[{"name":"time","group_count":"12","range_size":{"value":"1","unit":"MONTHS"}}],"aggregators":[{"name":"sum","align_sampling":true,"sampling":{"value":"1","unit":"Months"}}]}]}

I am getting the following response:

500 {"errors":["Too many open files"]}

Here this link it is written that increase the size of file-max.

My file-max output is:

it is already very large, do I need to increase its limit

I plan to use KairosDB to store monitoring data for my VMs' disk IO. Now I am thinking that I should create a metric for every VM, which will lead to many metrics in the DB, or just create a metric for all VMs and use tags to identify data for each VM.

I am not sure if a large number of metrics will kill the performance or hurt query.

Any suggestions?

有没有办法从特定的指标名称中获取标签？当我发出 GET 请求时，我得到了数据库中存在的所有可能的 TAG NAMES。但是在本地主机上，当我尝试按标签对指标进行分组时，我看到与指标相关联的标签列在下拉菜单中。

该 文档只有 1 个标签名称请求。

我正在kairosdb用作我的主要数据库。现在我想将弹性搜索功能集成到我的数据中kairosdb。如文档中所述，我必须在 elasticsearch 中复制我的主数据库的所有条目database。

更新

我的意思是：

如果我想在 elasticsearch 中索引某些东西，我必须这样做，例如：

检索kairosdb的数据，一个示例json{"name": "hi","value": "6","tags"}

然后放进去elasticsearch

如果我想搜索我必须这样做：

我想知道是否可以在 elasticsearch 中不复制我的数据，我可以做到这一点：

• 从 kairosDB 获取数据
• 使用 elasticsearch 索引它们而不重复数据。

有人可以向我解释一下吗？

提前致谢。

我的 kairosdb 中有一年的 15 分钟间隔数据。我需要按顺序执行以下操作： - 使用标签过滤数据 - 使用几个标签对过滤后的数据进行分组。我没有指定标签的值，因为我希望它们在运行时自动按标签值分组。- 一旦对这些标签进行分组，我想将 15 分钟间隔数据汇总到一个月中。

我根据 kairosdb 谷歌代码论坛上提供的信息编写了这个查询以从 python 脚本运行。但聚合值似乎不正确。输出似乎有偏差。我想了解我哪里出错了。我在python中这样做。这是我的 json 查询：

For reference: Data is something like this: [[1441065600000,53488],[1441066500000,43400],[1441067400000,44936],[1441068300000,48736],[1441069200000,51472],[1441070100000,43904],[1441071000000,42368 ]，[1441071900000,41400]，[1441072800000,28936]，[1441073700000,34896]，[1441074600000,29216]，[1441075500000,26040]，[144107500000,26040] [1441079100000,30184]，[1441080000000,27824]，[1441080900000,27960]，[144108181800000,28056]，[1441082700000,000000,29264] ，28400]，[1441087200000,28168]，[1441088100000,28944]，[1443657600000,42112]，[1443658500000,36712] ],[1443663000000,42984],[1443663900000,42952],[1443664800000,36112],[1443665700000,33680],[1443666600000,33376],[1443667500000,28616],[1443668400000,31688],[1443669300000,30872],[1443670200000,28200],[1443671100000,27792],[1443672000000,27464],[1443672900000,27240],[1443673800000,27760],[1443674700000 ,27232],[1443675600000,27824],[1443676500000,27264],[1443677400000,27328],[1443678300000,27576],[1443679200000,27136],[14248560],[14248560]

这是 2015 年 9 月和 10 月的一些数据的快照。当我运行它时，如果我给出 9 月的开始时间戳，它将正确地总结 9 月的数据，但对于 10 月它不会。

Grafana Kairosdb 插件集成，Kairosdb 未显示在 Grafana 3 的数据源列表中，即使将插件放入插件目录后也是如此。有没有人有将 Kairosdb 与 Grafana 3.0 集成的经验。日志文件中的调试级别似乎也没有错误。

当我尝试启动 KairosDB 时，我不断遇到以下引用中的异常。

我确定cassdrandhost 配置是正确的。

我该如何解决？

[Hector.me.prettyprint.cassandra.connection.CassandraHostRetryService-1] 错误 [CassandraHostRetryService.java:219] - 关闭主机重试尝试验证 CassandraHost org.apache.thrift.transport.TTransportException：读取负帧大小 (-2080374784 ）！在 org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:133) ~[libthrift-0.7.0.jar:0.7.0] 在 org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java: 101) ~[libthrift-0.7.0.jar:0.7.0] 在 org.apache.thrift.transport.TTransport.readAll(TTransport.java:84) ~[libthrift-0.7.0.jar:0.7.0] 在org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:378) ~[libthrift-0.7.0.jar:0.7.0] at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:297 ) ~[libthrift-0.7.0.jar:0.7.0] 在 org.apache。303] - 异常：me.prettyprint.hector.api.exceptions.HectorTransportException：org.apache.thrift.transport.TTransportException：读取负帧大小（-2080374784）！在 me.prettyprint.cassandra.service.ExceptionsTranslatorImpl.translate(ExceptionsTranslatorImpl.java:39) ~[hector-core-1.1-4.jar:na] 在 me.prettyprint.cassandra.service.AbstractCluster$4.execute(AbstractCluster.java :195) ~[hector-core-1.1-4.jar:na] 在 me.prettyprint.cassandra.service.AbstractCluster$4.execute(AbstractCluster.java:185) ~[hector-core-1.1-4.jar:na ] 在 me.prettyprint.cassandra.service.Operation.executeAndSetResult(Operation.java:104) ~[hector-core-1.1-4.jar:na] 在 me.prettyprint.cassandra.connection.HConnectionManager.operateWithFailover(HConnectionManager.java :253) ~[hector-core-1.1-4.jar:na] 在 me.prettyprint.cassandra。transport.TTransportException：读取负帧大小（-2080374784）！在 org.apache.thrift.transport.TFramedTransport.readFrame(TFramedTransport.java:133) ~[libthrift-0.7.0.jar:0.7.0] 在 org.apache.thrift.transport.TFramedTransport.read(TFramedTransport.java: 101) ~[libthrift-0.7.0.jar:0.7.0] 在 org.apache.thrift.transport.TTransport.readAll(TTransport.java:84) ~[libthrift-0.7.0.jar:0.7.0] 在org.apache.thrift.protocol.TBinaryProtocol.readAll(TBinaryProtocol.java:378) ~[libthrift-0.7.0.jar:0.7.0] at org.apache.thrift.protocol.TBinaryProtocol.readI32(TBinaryProtocol.java:297 ) ~[libthrift-0.7.0.jar:0.7.0] at org.apache.thrift.protocol.TBinaryProtocol.readMessageBegin(TBinaryProtocol.java:204) ~[libthrift-0.7.0.jar:0.7.0] at org .apache.thrift.TServiceClient.receiveBase(TServiceClient.java:69) ~[libthrift-0.7.0.

我正在尝试使用 Cassandra 作为后端来设置 KairosDB 安装，但我遇到了以下错误：

[HThriftClient.java:152] - 创建到 localhost(127.0.0.1) 的新 thrift 连接：9042 错误 [HConnectionManager.java:418] - 主机 localhost(127.0.0.1):9042 错误 [HConnectionManager. java:422] - 关闭时的池状态：:{localhost(127.0.0.1):9042}; IsActive?：真；主动：1；封锁：0；空闲：15；NumBeforeExhausted: 49

[HConnectionManager.java:303] - 异常：me.prettyprint.hector.api.exceptions.HectorTransportException：org.apache.thrift.transport.TTransportException：读取负帧大小（-2080374784）！在 me.prettyprint.cassandra.service.ExceptionsTranslatorImpl.translate(ExceptionsTranslatorImpl.java:39) ~[hector-core-1.1-4.jar:na]

我已经检查了 cassandra 打开的端口并将其设置为 9042。此外，我在 cassandra.yaml 文件中将 start_rpc 设置为 true。关于进一步故障排除的任何想法？