5

我有一组间隔为 30 分钟的大型时间序列数据，并尝试在这组数据上做一个滑动窗口，但使用 pandas 分别针对一天中的每个时间点。

我不是统计学家，也不擅长思考或编码这类工作，但这是我做我想做的笨拙的尝试。我真的在寻求改进它的帮助，因为我知道会有更好的方法来做到这一点，可能使用 MultiIndexes 和一些适当的迭代？但我一直在努力跨“时间轴”做到这一点。

def sliding_window(run,data,type='mean'):
    data = data.asfreq('30T')
    for x in date_range(run.START, run.END, freq='1d'):
        if int(datetime.strftime(x, "%w")) == 0 or int(datetime.strftime(x, "%w")) == 6:
            points = data.select(weekends).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
        else:
            points = data.select(weekdays).truncate(x - relativedelta(days=run.WINDOW),x + relativedelta(days=run.WINDOW)).groupby(lambda date: minutes(date, x)).mean()
        for point in points.index:
            data[datetime(x.year,x.month,x.day,point.hour,point.minute)] = points[point]
    return data

run.START、run.END 和 run.WINDOW 是数据内的两个点和 45（天）。我一直盯着这段代码很多，所以我不确定它对其他人有什么意义（如果有的话），请询问，以便我澄清其他任何事情。

已解决：（由crewbum提供的解决方案）

正如预期的那样，修改后的函数运行得非常快：

def sliding_window(run,data,am='mean',days='weekdays'):
    data = data.asfreq('30T')
    data = DataFrame({'Day': [d.date() for d in data.index], 'Time': [d.time() for d in data.index], 'Weekend': [weekday_string(d) for d in data.index], 'data': data})
    pivot = data.pivot_table(values='data', rows='Day', cols=['Weekend', 'Time'])
    pivot = pivot[days]
    if am == 'median':
        mean = rolling_median(pivot, run.WINDOW*2, min_periods=1)
    mean = rolling_mean(pivot, run.WINDOW*2, min_periods=1)
    return DataFrame({'mean': unpivot(mean), 'amax': np.tile(pivot.max().values, pivot.shape[0]), 'amin': np.tile(pivot.min().values, pivot.shape[0])}, index=data.index)

反透视函数：

def unpivot(frame):
    N, K = frame.shape
    return Series(frame.values.ravel('C'), index=[datetime.combine(d[0], d[1]) for d in zip(np.asarray(frame.index).repeat(K), np.tile(np.asarray(frame.ix[0].index), N))])

目前，sliding_mean 上的 center=True 似乎已损坏，如果有机会，会将其归档在 github 中。

4

1 回答 1

4

如果您对 MultiIndexes 感兴趣，请查看 df.pivot_table(). 当在 rows 和/或 cols 参数中传递多个键时，它将自动创建一个 MultiIndex。

例如，假设您要对数据进行透视，以便每个周末和一天中的非周末 30 分钟有单独的列；您可以通过将 Day、Weekend 和 TOD（一天中的时间）列添加到 DataFrame，然后将这些列名称传递给 pivot_table 来实现，如下所示。

pivot = df.pivot_table(values='Usage', rows='Day', cols=['TOD', 'Weekend'])

在这种格式中，pd.rolling_mean()（或您创建的函数）可以很容易地应用于pivot. pd.rolling_mean() 与 pandas 中的所有滚动/移动函数一样，甚至接受center居中滑动窗口的参数。

pd.rolling_mean(pivot, 90, center=True, min_periods=1)
于 2012-12-21T07:38:15.460 回答