12

我正在计划一个附带项目，我将在其中处理时间序列之类的数据，并且想尝试其中一个闪亮的新 NoSQL DB，并正在寻找建议。

对于（不断增长的）集合，symbols我将有一个 ( time, value) 元组列表（随着时间的推移而增加）。并非全部symbols都会更新；有些可能会更新，而有些可能不会，并且可能会添加symbols全新的内容。symbols

因此，数据库应允许：

  • 添加具有初始单元素（元组）列表的符号。例如 A: [(2012-04-14 10:23, 50)]
  • 使用新元组更新符号。（将该元组附加到该符号的列表中）。
  • 读取给定品种的数据。（理想情况下，甚至让我指定应返回数据的时间范围）

创建和更新操作应该是原子的。如果一次读取多个符号是可能的，那会很有趣。

性能并不重要。更新/创建大约每隔几个小时就会发生一次。

4

2 回答 2

17

我相信几乎所有主要的 NoSQL 数据库都会支持这一要求，尤其是在您实际上没有大量数据的情况下（这引出了一个问题，为什么要使用 NoSQL？）。

也就是说，我最近必须为时间序列数据设计和使用 NoSQL 数据库，因此可以对该设计提供一些输入，然后可以推断出所有其他数据库。

我们选择的数据库是Cassandra，我们的设计如下：

  • 所有“符号”的单一键空间
  • 每个符号都是一个新行
  • 每次条目都是该相关行的新列
  • 每个值（可以是多个值）是时间条目的值部分

这使您可以实现您所要求的一切，尤其是读取单个符号的数据，并在必要时使用范围（列范围调用）。尽管您说性能并不重要，但它对我们来说也很高效 - 任何单个符号的所有数据都按定义排序（列名排序）并始终存储在同一节点上（简单查询没有跨节点通信）。最后，这种设计可以很好地转化为其他具有动态列的 NoSQL 数据库。

除此之外，这里有一些关于使用 MongoDB（以及必要时设置上限的集合）进行时间序列存储的信息：MongoDB as a Time Series Database

最后，这里是关于时间序列的 SQL 与 NoSQL 的讨论：https ://dba.stackexchange.com/questions/7634/timeseries-sql-or-nosql

我可以在该讨论中添加以下内容：

  • NoSQL 的学习曲线会更高，就“软成本”而言，您不会免费获得额外的灵活性和功能。谁将在操作上支持该数据库？
  • 如果您希望此功能在未来有所增长（或者将更多字段添加到每个时间条目，或者在符号数量或符号时间序列大小方面更大的容量），那么一定要使用 NoSQL。灵活性的好处是巨大的，并且您在“每个符号”和“符号数量”的基础上获得的可扩展性（使用上述设计）几乎是无限的（我说几乎是无限的 - 每行的最大列数为数十亿，最大值我相信每个键空间的行数是无限的）。
于 2012-04-14T22:46:58.150 回答
4

看看 opentsdb.org 一个使用 hbase 的开源时间序列数据库。他们在如何存储 TS 方面很聪明。这里有很好的记录：http: //opentsdb.net/misc/opentsdb-hbasecon.pdf

于 2012-06-18T15:10:58.873 回答