6

目标

我有一些 CSV 格式的多种产品的金融交易数据，我想使用 pandas 进行分析。交易以不规则的时间间隔发生，并且时间戳精确到 1 秒，这导致某些交易“同时”发生，即具有相同的时间戳。

目前的目标是绘制每种产品的累积交易量图。

现在的进展

已使用 read_csv() 将交易数据读入 DataFrame，即解析日期时间的索引。

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 447 entries, 2012-12-07 17:16:46 to 2012-12-10 16:28:29
Data columns:
Account Name    447  non-null values
Exchange        447  non-null values
Instrument      447  non-null values
Fill ID         447  non-null values
Side            447  non-null values
Quantity        447  non-null values
Price           447  non-null values
dtypes: float64(1), int64(1), object(5)

完成了一些工作来添加“QuantitySigned”列。

我做了一个“groupby”，这样我就可以通过仪器访问数据。

grouped = trades.groupby('Instrument', sort=True)
for name, group in grouped:
        group.QuantitySigned.cumsum().plot(label=name)
plt.legend()

问题

以上工作，但我想在一个DataFrame中拥有TimeSeries（每个仪器一个），即每个仪器一列，以便我可以使用DataFrame.plot（）。问题是没有两个 TimeSeries 具有完全相同的索引，即我需要合并所有 TimeSeries 的索引。

鉴于下面的简单示例，我知道这应该可行：

index=pd.date_range('2012-12-21', periods=5)
s1 = Series(randn(3), index=index[:3])
s2 = Series(randn(3), index=index[2:])
df = DataFrame(index=index)
df['s1'] = s1
df['s2'] = s2

但是，尝试将 TimeSeries 聚合到 DataFrame 时会引发异常，我认为这与重复的索引元素有关：

grouped = trades.groupby('Instrument', sort=True)
df = DataFrame(index=trades.index)
for name, group in grouped:
        df[name] = group.QuantitySigned.cumsum()
df.plot()

Exception: Reindexing only valid with uniquely valued Index objects

我会“正确地”解决这个问题吗？关于如何以更好的方式解决这个问题有什么建议吗？

可运行示例

这是一个引发异常的可运行示例：

import pandas as pd
from pandas import Series
from pandas import DataFrame

index = pd.tseries.index.DatetimeIndex(['2012-12-22', '2012-12-23', '2012-12-23'])

s1 = Series(randn(2), index[:2]) # No duplicate index elements
df1 = DataFrame(s1, index=index) # This works

s2 = Series(randn(2), index[-2:]) # Duplicate index elements
df2 = DataFrame(s2, index=index) # This throws

解决方案

感谢@crewbum 的解决方案。

grouped = trades.groupby('Instrument', sort=True)
dflist = list()
for name, group in grouped:
    dflist.append(DataFrame({name : group.QuantitySigned.cumsum()}))
results = pd.concat(dflist)
results = results.sort().ffill().fillna(0)
results.plot()

注意：我先转发填充，然后将剩余的 NaN 设置为零。正如@crewbum 指出的那样，ffill() 和 bfill() 是 0.10.0 的新功能。

我在用着：

  • 熊猫 0.10.0
  • numpy 1.6.1
  • 蟒蛇 2.7.3。
4

1 回答 1

3

pd.concat() 默认情况下对索引执行“外部”连接，并且可以通过及时向前和/或向后填充来填充空洞。

In [17]: pd.concat([DataFrame({'s1': s1}), DataFrame({'s2': s2})]).ffill().bfill()
Out[17]: 
                 s1   s2
2012-12-21  9.0e-01 -0.3
2012-12-22  5.0e-03 -0.3
2012-12-23 -2.9e-01 -0.3
2012-12-23 -2.9e-01 -0.3
2012-12-24 -2.9e-01 -1.8
2012-12-25 -2.9e-01 -1.4

我应该补充一下，ffill()并且bfill()是 pandas 0.10.0 中的新内容。在此之前，您可以使用fillna(method='ffill')和fillna(method='bfill')。

于 2012-12-21T04:56:45.820 回答