12

我正在计划一个附带项目,我将在其中处理时间序列之类的数据,并且想尝试其中一个闪亮的新 NoSQL DB,并正在寻找建议。

对于(不断增长的)集合,symbols我将有一个 ( time, value) 元组列表(随着时间的推移而增加)。并非全部symbols都会更新;有些可能会更新,而有些可能不会,并且可能会添加symbols全新的内容。symbols

因此,数据库应允许:

  • 添加具有初始单元素(元组)列表的符号。例如 A: [(2012-04-14 10:23, 50)]
  • 使用新元组更新符号。(将该元组附加到该符号的列表中)。
  • 读取给定品种的数据。(理想情况下,甚至让我指定应返回数据的时间范围)

创建和更新操作应该是原子的。如果一次读取多个符号是可能的,那会很有趣。

性能并不重要。更新/创建大约每隔几个小时就会发生一次。

4

2 回答 2

17

我相信几乎所有主要的 NoSQL 数据库都会支持这一要求,尤其是在您实际上没有大量数据的情况下(这引出了一个问题,为什么要使用 NoSQL?)。

也就是说,我最近必须为时间序列数据设计和使用 NoSQL 数据库,因此可以对该设计提供一些输入,然后可以推断出所有其他数据库。

我们选择的数据库是Cassandra,我们的设计如下:

  • 所有“符号”的单一键空间
  • 每个符号都是一个新行
  • 每次条目都是该相关行的新列
  • 每个值(可以是多个值)是时间条目的值部分

这使您可以实现您所要求的一切,尤其是读取单个符号的数据,并在必要时使用范围(列范围调用)。尽管您说性能并不重要,但它对我们来说也很高效 - 任何单个符号的所有数据都按定义排序(列名排序)并始终存储在同一节点上(简单查询没有跨节点通信)。最后,这种设计可以很好地转化为其他具有动态列的 NoSQL 数据库。

除此之外,这里有一些关于使用 MongoDB(以及必要时设置上限的集合)进行时间序列存储的信息:MongoDB as a Time Series Database

最后,这里是关于时间序列的 SQL 与 NoSQL 的讨论:https ://dba.stackexchange.com/questions/7634/timeseries-sql-or-nosql

我可以在该讨论中添加以下内容:

  • NoSQL 的学习曲线会更高,就“软成本”而言,您不会免费获得额外的灵活性和功能。谁将在操作上支持该数据库?
  • 如果您希望此功能在未来有所增长(或者将更多字段添加到每个时间条目,或者在符号数量或符号时间序列大小方面更大的容量),那么一定要使用 NoSQL。灵活性的好处是巨大的,并且您在“每个符号”和“符号数量”的基础上获得的可扩展性(使用上述设计)几乎是无限的(我说几乎是无限的 - 每行的最大列数为数十亿,最大值我相信每个键空间的行数是无限的)。
于 2012-04-14T22:46:58.150 回答
4

看看 opentsdb.org 一个使用 hbase 的开源时间序列数据库。他们在如何存储 TS 方面很聪明。这里有很好的记录:http: //opentsdb.net/misc/opentsdb-hbasecon.pdf

于 2012-06-18T15:10:58.873 回答