问题标签 [time-series]

我们有一个由 C++ 和 Java 部分组成的产品。C++ 的东西是使用 make 构建的，java 项目由一些 ant 项目和一些 maven2 项目组成。

我正在寻找一种工具，可以帮助我随着时间的推移从构建系统中获取有用的指标。例子包括

我可能会想到很多其他指标，但你明白了。

为一次性报告获取这些指标非常简单。我真正需要的是一个简单的工具，可以让我随时间绘制这些指标。

一个非常有用的简单用例是编译器警告，因为我们可以看到警告的数量随着时间的推移趋向于零。（我们不能一次解决所有问题，因为这是一个相当大的项目，我们只是没有时间采取大爆炸的方法）。它还可以帮助我们在引入新警告时快速发现它们。

我已经看过这个问题Monitoring code metrics in Java over longer time period，但我正在寻找更多与语言无关的东西

所以，总结一下。我正在寻找可以随时间报告指标的东西，它易于扩展，具有基于 Web 的报告 gui，而且价格便宜。（要求不高啊！）

编辑：为了清楚起见，我们使用 CruiseControl 作为我们的 CI 服务器。我只是还没有看到一种简单的方法来将指标或基于时间的指标添加到它的输出中。也许我错过了一些明显的东西。我似乎在这个页面上添加了自定义指标，但对我来说有点笨拙。

理想情况下，我希望以简单的格式将指标写到文件中，并让某些东西动态生成指标。理想情况下，我想把下面的输出变成一个简单的图表

我正在尝试“应用”一个在 R 中对动物园对象执行“滞后”的函数。

如果我传递一个动物园矢量，该函数可以正常工作 - 它应用了滞后并且一切正常。

但是，如果我apply( data, 1, function )那么滞后不起作用。没有错误，只是相当于零延迟。

简单的情况也是如此apply( data, 1, lag )。

谁能解释为什么会这样？我能做些什么来使滞后发生吗？

I have a series of numbers. I calculated the "auto-regression" between them using Yule-Walker method.

But now how do I extend the series?

Whole working is as follows:

a) the series I use:

143.85 141.95 141.45 142.30 140.60 140.00 138.40 137.10 138.90 139.85 138.75 139.85 141.30 139.45 140.15 140.80 142.50 143.00 142.35 143.00 142.55 140.50 141.25 140.55 141.45 142.05

b) this data is loaded in to data using:

c) the calculation of the coefficients:

this gives:

d) Now using this, how do I calculate the next number in the series?

[any other method of doing this (except using aryule()) is also fine... this is what I did, if you have a better idea, please let me know!]

考虑一个为每天设定一个销售目标的销售部门。总目标不重要，但年龄过大或未成年很重要。例如，如果第 1 周的星期一的目标是 50，而我们卖出 60，则当天的得分为 +10。周二，我们的目标是 48，我们以 -2 的成绩卖出 46。在一周结束时，我们对这一周进行评分：

在此示例中，星期一 (0,0) 和星期四和星期五 (0,3 和 0,4) 都是“热”的

如果我们查看第 2 周的结果，我们会看到：

第 2 周，周末炎热，周二温暖。

接下来，如果我们比较第一周和第二周，我们会发现周末往往比第一周要好。所以，现在让我们添加第 3 周和第 4 周：

由此，我们看到周末是更好的理论是正确的。但我们也看到月底好于月初。当然，接下来我们希望将本月与下个月进行比较，或者比较一组月份的季度或年度结果。

我不是数学或统计专家，但我很确定有针对此类问题设计的算法。由于我没有数学背景（并且不记得我早期的任何代数），我该去哪里寻求帮助？这种类型的“热点”逻辑有名字吗？是否有可以切片和切块以及比较多维数组的公式或算法？

任何帮助，指针或建议表示赞赏！

我们有一个数据库，其中包含与时间相关的数据。正如您可以想象的那样，它会随着时间的推移而增长（并减慢）。当前（本月）数据有 50% 的读取和 25% 的插入和 25% 的更新操作，旧数据的读取率为 100%。

• 好消息是，旧数据也变得不那么重要了。
• 不好的是，有时我们需要查询从现在到去年的整个时期。

现在我想要一个 mysql 架构，它比旧的数据更快地为年轻的数据提供服务。

有没有办法在mysql中做到这一点？

post scriptum：当然，由于我们正在使用 ruby​​ on rails 和应用层中的活动记录，我们可以轻松地重写活动记录基类以访问多个表并将旧数据移动到另一个表。但是因为我们也读过其他系统的查询，比如reporting，应该可以访问新旧数据，有时同时访问，我想在mysql上解决。

我在电子表格中跟踪我的体重，但我想通过使用 R 来改善体验。我试图在 R 中找到一些关于时间序列分析的信息，但我没有成功。

我这里的数据格式如下：

例如

我想做的事

plot权重和指数移动平均线对时间

我怎样才能做到这一点？

我试图弄清楚这些新奇的数据存储，如 bigtable、hbase 和 cassandra 到底是什么。

我处理大量的股票市场数据，数十亿行的价格/报价数据，每天可以添加多达 100 GB 的数据（尽管这些文本文件通常至少压缩一个数量级）。这些数据基本上是一些数字、两三个短字符串和一个时间戳（通常是毫秒级）。如果我必须为每一行选择一个唯一标识符，我将不得不选择整行（因为交换可能会在同一毫秒内为同一符号生成多个值）。

我想将这些数据映射到 bigtable（我包括它的派生词）的最简单方法是通过符号名称和日期（这可能会返回一个非常大的时间序列，超过一百万个数据点并非闻所未闻）。从阅读他们的描述来看，这些系统似乎可以使用多个键。我还假设十进制数字不是键的好候选者。

其中一些系统（例如 Cassandra）声称能够进行范围查询。例如，我是否能够在上午 11:00 到下午 1:30 之间有效地查询给定日期的 MSFT 的所有值？

如果我想搜索给定日期的所有符号，并请求价格在 10 美元到 10.25 美元之间的所有符号（所以我正在搜索值，并希望返回键作为结果）怎么办？

如果我想得到两个时间序列，从另一个中减去一个，然后返回两个时间序列及其结果，我是否必须在我自己的程序中执行他的逻辑？

阅读相关论文似乎表明这些系统不太适合大规模时间序列系统。但是，如果像谷歌地图这样的系统是基于它们的，我认为时间序列应该也可以工作。例如，将时间视为 x 轴，将价格视为 y 轴，将符号视为命名位置——突然之间，bigtable 似乎应该是时间序列的理想存储（如果可以存储、检索整个地球） ，缩放和注释，股市数据应该是微不足道的）。

一些专家可以指出我正确的方向或消除任何误解。

谢谢

从一本计算机模拟的书中，我得到了这两个方程。

第一个是计算相关图，第二个是如何使用相关图估计方差。

估计观察方差的常用方法在计算机模拟中通常不是错误的，因为观察通常是相关的。

我的问题是，我从我的程序中计算出来的值非常大，所以它不可能是正确的。

我认为因为当 k 变大时 r[k] 会接近 0，所以第二个方程会给出一个很大的值，所以方程可能不正确？

正如你所问的，这是整个程序（用 Python 编写）：

某处是否存在使 NA 保持在适当位置的滞后变体？我想计算可能缺少数据的价格数据的回报。

Col 1 是价格数据 Col 2 是价格的滞后 Col 3 显示 p - lag(p) - 实际上错过了从 99 到 104 的回报，因此计算出的回报的路径长度将与真实不同。Col 4 显示了保留 NA 位置的滞后 Col 5 显示了新的差异 - 现在可以使用 2009-11-07 的 5 返回

干杯，戴夫

我一直在使用 SQL Server 存储几十万个对象的历史时间序列数据，每天观察大约 100 次。我发现查询（在时间 t1 和时间 t2 之间给我对象 XYZ 的所有值）太慢（对于我的需要，慢超过一秒）。我正在按时间戳和对象 ID 进行索引。

我已经考虑过使用像 MongoDB 这样的键值存储来代替，但我不确定这是否是对这类事物的“适当”使用，而且我找不到任何提及使用这样的时间序列数据的数据库。理想情况下，我可以进行以下查询：

• 在时间 t1 和时间 t2 之间检索对象 XYZ 的所有数据
• 执行上述操作，但每天返回一个日期点（第一个，最后一个，关闭到时间 t...）
• 检索特定时间戳的所有对象的所有数据

数据应该是有序的，理想情况下应该快速写入新数据以及更新现有数据。

似乎我希望通过对象 ID 和时间戳进行查询可能需要以不同的方式对数据库的两个副本进行索引以获得最佳性能......任何人都有构建这样一个具有键值存储的系统的经验，或HDF5，或别的什么？或者这在 SQL Server 中完全可行，而我只是做得不对？