问题标签 [kairosdb]

我面临一个问题：过程工厂的数据库。在 50 ms 的采样率下，最多有 50,000 个传感器。所有测量值至少需要存储3年，并且必须支持实时查询（即用户可以看到延迟小于1秒的历史数据）。我最近读了一篇关于时序数据库的文章，手头有很多选择：OpenTSDB、KairosDB、InfluxDB、...

我很困惑哪一个适合这个目的？任何知道这一点的人请帮助我！

更新 15.06.25

今天我运行一个基于 OpenTSDB 的测试。我使用 Virtual Box 创建了一个由 3 个 CentOS x64 虚拟机（1 个主设备，2 个从设备）组成的集群。主机配置为 8 GB RAM，核心 i5。主 VM 配置为 3 GB RAM，从属 VM 配置为 1.5 GB RAM。我编写了一个 python 程序来将数据发送到 OpenTSDB，如下所示：

我在主机上运行 python，大约 220 秒后工作完成。所以，我得到了一个平均值。每秒约 45000 条记录的速度。

更新 15.06.29

这次我只使用了 1 个 VM（5 GB RAM，3 个内核，CentOS x64，伪分布式 Hadoop）。我在 Windows 7 主机上运行 2 个 python 进程，将 2 半数据发送到 OpenTSDB。平均 放置数据的速度约为每秒 100,000 条记录。

OpenTSDB 超级快。KairosDB 被称为对 OpenTSDB 的重写，并声称它甚至比 OpenTSDB 更快（请参见此处）。但是，我在我的 VirtualBox（5 GB RAM，3 核）上为 OpenTSDB 和 KairosDB 的 1 节点集群做了一些测试。OpenTSDB 的插入速度约为 100,000 条记录/秒，KairosDB 的插入速度约为 30,000 条记录/秒。我是否配置了 KairosDB 或 OpenTSDB 有问题实际上更快？

我想使用KairosDB Java 客户端检查 KairosDB 运行状况，但似乎指南太少。有谁知道请帮帮我？

我正在尝试在 python 中发布查询以从 Kairosdb 获取数据：meterreading 是我已经创建的指标。

执行此脚本时，我得到以下结果：

当我尝试通过发送请求获得响应时，问题似乎出在第 37 行。我可以在 JAVA 中执行此操作，但在 python 中我被卡住了。我是不是错过了什么。

让我知道我是否在此处发布了任何不正确的内容。（注意：KairosDB 位于 Cassandra 之上。使用 Hector）。

我正在使用 KairosDB Java 客户端将大量样本数据转储到数据存储中。我目前倾倒了 600 万，现在正尝试使用以下方法将其全部删除：

请注意，我删除了时间间隔参数只是为了尝试一次删除所有数据。

执行此方法时，似乎没有删除任何点。我选择使用 JSON 形式的数据卷曲查询，并收到一个 HectorException，说明“所有主机池都标记为已关闭。重试负担推给客户端”。

我个人的结论是，600 万太多了，不能一次删除。我正在考虑一次删除部分，但我不知道如何限制从 KDB Java 客户端删除的行数。我知道 KairosDB 用于生产。人们如何使用 Java Client 有效地删除大量数据？

非常感谢你花时间陪伴！

我正在尝试运行 kairosdb 和 cassandra，但是 kairosdb 在出现以下错误后关闭，我相信这是因为 kairosdb 无法与 cassandra 建立连接。Cassandra 似乎运行良好，我无法理解为什么会出现此错误：

18:33:08.463 [main] 错误 [HConnectionManager.java:71] - 无法启动主机 localhost(127.0.0.1):9160 的连接池

注入构造函数时出错，org.kairosdb.core.exception.DatastoreException：me.prettyprint.hector.api.exceptions.HectorException：所有主机池标记为已关闭。重试负担推给客户端。...

另外，我注意到未创建此链接中提到的 kairos_cache ix。我将 /tmp/ 文件夹的权限从 root 更改为用户，但仍然无法正常工作。

我在 2 节点 Cassandra 集群上运行 KairosDB，RF = 2，写入 CL = 1，读取 CL = 1。如果 2 个节点处于活动状态，客户端将一半数据发送到节点 1（例如从 METRIC_1 到 METRIC_5000 的度量）和另一个节点 2 的一半数据（例如从 METRIC_5001 到 METRIC_10000 的度量）。理想情况下，每个节点始终拥有所有数据的副本。但是如果一个节点死了，客户端会将所有数据发送到活着的节点。

客户端开始向集群发送数据。30 分钟后，我关闭了节点 2 10 分钟。在这 10 分钟的时间里，客户端正确地将所有数据发送到节点 1。之后，我重新启动了节点 2，客户端继续正确地向 2 个节点发送数据。一小时后，我停止了客户端。

我想检查当节点 2 死亡时发送到节点 1 的数据是否已自动复制到节点 2。为此，我关闭了节点 1，并在节点 2 从节点 2 死机的时间内查询了数据，但它什么也没返回。这让我觉得数据没有从节点 1 复制到节点 2。我发布了一个问题Cassandra 不会在节点关闭和再次启动时执行“延迟”复制吗？. 数据似乎是自动复制的，但速度太慢了。

我期望的是两台服务器中的数据是相同的（出于冗余目的）。这意味着当节点 2 死亡时发送到系统的数据必须在节点 2 可用后自动从节点 1 复制到节点 2（因为 RF = 2）。

我在这里有几个问题：

1）复制真的很慢吗？还是我配置错误？

2）如果客户端将一半的数据发送到每个节点，我认为可能会丢失数据（例如节点1从客户端接收数据，而节点1正在将数据复制到节点2它突然关闭）。我对吗？

3）如果我在 2）中是对的，我将这样做：客户端将所有数据发送到两个节点。这可以解决 2) 并且如果一个节点已死并且稍后可用，还可以利用复制。但我想知道，这会导致数据重复，因为两个节点都接收相同的数据。这里有什么问题吗？

谢谢！

在此链接中，我们可以将 KairosDB 中的数据导入为： 此链接

我不确定 export.txt 文件的格式应该是什么

我有一个文件（export.txt），例如：

我想将这些数据批量插入kairosDB，我该怎么做。

我正在使用以下命令在 kairosdb 中插入数据：reference

bin/kairosdb.sh 导入 -f 导出.txt

但在 kairosdb.log 文件中，我收到以下错误：

我的 export.txt 文件是：

请建议如何解决此错误。

运行命令时出现以下异常：

sudo bin/kairosdb.sh 导入 -f new.txt

批量插入数据

我参考了这个链接来找到问题的解决方案：即停止Kairos，删除/tmp/kairos_cache 文件夹和所有子文件夹，然后再次启动Kairos。这对许多用户都有效。

但在我的情况下它不起作用。还有其他解决方案吗？