问题标签 [rolling-computation]

假设我有一个具有以下结构的数据框：

将“DF”转换为具有以下结构的数据框的最有效方法是什么：

其中 w 是通过数据框“DF”滚动的长度为 2 的窗口。窗口的长度应该是任意的，即长度为 3 产量

我有点被这个问题难住了，因为数据框还可以包含任意数量的列，即 w、x、y、z 等。

/edit 2：我意识到编辑 1 有点不合理，因为 xts 似乎无法处理每个数据点的多个观察结果

我需要计算 3 天的相关性。下面给出了一个示例矩阵。我的问题是 ID 可能不会每天都在宇宙中。例如，AAPL 可能始终在 Universe 中，但一家公司 - CCL 可能在我的 Universe 中仅存在 2 天。我将不胜感激矢量化解决方案。我可能不得不在accumarray这里使用 structs/ 等，因为相关矩阵的大小可能会有所不同。

“3天相关性”：

真实数据涵盖 1995 年至 2011 年的 Russel1000 宇宙，有超过 410 万行。所需的相关性超过 20 天。

语言： C++

开发环境： Microsoft Visual C++

使用的库： MFC

问题：这应该相当简单，但我无法完全理解它。我正在尝试计算给定时间内的滚动平均值 - 比如说五秒。每秒钟，我的程序都会收到一条数据消息，其中包含一些数字信息，包括处理过程中的 CPU 空闲时间。

我希望能够向用户显示五秒钟内的平均 CPU 空闲时间。我正在考虑只使用一个数组并每五秒存储一个值，但我不确定如何进行滚动部分。除非有其他内置方法可以进行滚动计算？

我应该避免rolling并手动编码滚动回归吗？还是我最好创建一个具有重叠条目并使用的巨型面板statsby？即，给每个窗口自己的by条目。在 RI 中可以将数据预先拆分为日期框架列表，我认为这可以加快后续操作。

一个月前，当我第一次从 R 切换到 Stata 时，我在 Statalist 上问过这个问题，共识是这应该需要很长时间。我在 Mata 中编码和编译了 OLS，发现速度没有提高（实际上，稍微变差了）。

这似乎滚动回归是一种常见的技术，Stata 似乎相当复杂；大多数研究人员是否将这些回归运行了 1 天以上？或者他们是否使用 SAS 进行这些计算？例如，我在 Compustat 数据库上从 1975 年到 2010 年（大约 30,000 次回归）运行以下内容，大约需要 12 个小时。

我有一些真实的降雨数据记录为日期和时间，以及翻斗式雨量计上的累计提示数。翻斗代表 0.5 毫米的降雨量。我想循环浏览文件并确定强度的变化（降雨/时间）所以我需要多个固定时间范围内的滚动平均值：所以我想累积降雨，直到累积 5 分钟的降雨并确定以 mm/ 为单位的强度小时。因此，如果在 5 分钟内记录 3 毫米，则等于 3/5*60 = 36 毫米/小时。10 分钟内相同的降雨量将是 18 毫米/小时...

因此，如果我有几个小时的降雨，我可能需要按几个标准时间间隔进行检查，例如：5、10、15、20、25、30、45、60 分钟等......此外，数据也会以相反的顺序记录在原始文件，所以最早的时间是在文件的末尾，后面和最后一个时间步首先出现在标题之后：看起来像......（这里 975 - 961 = 14 个提示 = 7mm 降雨）平均强度 1.4mm/ hr 但在 16:27 和 16:34 之间 967-961 = 6 个提示 = 3 毫米在 7 分钟内 = 27.71 毫米/小时

有什么建议么？

给定一个线函数 y = a*x + b（a和b是先前已知的常数），很容易计算线和样本窗口之间的平方和距离(1, Y1), (2, Y2), ..., (n, Yn)（其中Y1最旧的样本和Yn最新的样本）：

我需要一个快速算法来计算滚动窗口（长度n）的这个值 - 每次新样本到达时，我都无法重新扫描窗口中的所有样本。
显然，对于每个进入窗口的新样本和每个离开窗口的旧样本，都应该保存和更新一些状态。
请注意，当一个样本离开窗口时，其余样本的指数也会发生变化——每个 Yx 都变为 Y(x-1)。因此，当一个样本离开窗口时，窗口中的每个其他样本都会为新总和贡献一个不同的值：(Yx - (a*(x-1) + b))^2而不是(Yx - (a*x + b))^2.

有没有已知的算法来计算这个？如果没有，你能想到一个吗？（由于一阶线性近似，有一些错误是可以的）。

我正在尝试做一些看似简单但证明有点挑战的事情，所以我希望有人能提供帮助！
我有一个时间序列的温度观察：

这会产生：

这只是一个例子——我的数据是多年的，所以我可以计算数据的完整月平均值。
然后我想要做的是计算所有 1 月（单独）与我上面计算的平均 1 月的差异。

如果我不再使用日期/时间类，我可以用一些循环来做到这一点，但我想看看在 R 中是否有一种“简洁”的方式来做到这一点？有任何想法吗？

我有一组电子邮件地址和将这些电子邮件地址添加到表中的日期的数据集。对于不同的日期，一个电子邮件地址可以有多个条目。例如，如果我有下面的数据集。我希望获得在所述日期和 3 天前之间我们拥有的不同电子邮件的日期和数量。

如果我们使用 3 的日期周期，结果集将如下所示

我可以使用下面的查询获得日期范围的不同计数，但希望按天获得一个范围的计数，因此我不必手动更新数百个日期的范围。

我在寻找最有效的方法来计算对具有多列的 xts 对象的滚动线性回归时遇到问题。我已经在 stackoverflow 上搜索并阅读了几个以前的问题。

这个问题和答案很接近，但在我看来还不够，因为我想计算多个回归，而因变量在所有回归中都保持不变。我试图用随机数据重现一个例子：

创建数组是为了随时间和每个因子存储多个变量（残差、系数等）。

data[, 1]正如循环所示，这个想法是每次针对其他因素之一运行 30 个观察值滚动回归，并将其作为因变量（因子）。我必须将 30 个残差存储在一个临时对象中，以便将它们标准化，因为fastLm不计算标准化残差。

如果 xts 对象中的列数（因子）增加到大约 100 到 1,000 列，则循环非常缓慢并且会变得很麻烦，这需要很长时间。我希望有一个更有效的代码来在大型数据集上创建滚动回归。

我想对丢失的数据进行滚动计算。

示例代码：（为了简单起见，我给出了一个滚动总和的示例，但我想做一些更通用的事情。）

产生：

我认为在“滚动”期间，缺少数据的窗口被忽略以进行计算。我希望得到以下结果：