1

这是我在 Pandas 中尝试做的事情：

  • 加载包含特定日期股票信息的 CSV 文件
  • 在列中查找最早和最晚的日期date
  • 创建一个新的数据框，其中最早和最晚之间的所有天都被填充（NaN 或所有列的“缺失”之类的东西都可以）

目前它看起来像这样：

import pandas as pd
import dateutil

df = pd.read_csv("https://dl.dropboxusercontent.com/u/84641/temp/berkshire_new.csv")
df['date'] = df['date'].apply(dateutil.parser.parse)
new_date_range = pd.date_range(df['date'].min(), df['date'].max())
df = df.set_index('date')
df.reindex(new_date_range)

不幸的是，这会引发以下我不太明白的错误：

ValueError: Shape of passed values is (3, 4825), indices imply (3, 4384)

我已经尝试了十几种这样的变体——没有任何运气。任何帮助将非常感激。

编辑：

在进一步调查之后，看起来问题是由重复索引引起的。CSV 确实包含每个日期的多个条目，这可能是导致错误的原因。

不过，这个问题仍然很重要：尽管每个日期都有重复的条目，但我怎样才能填补两者之间的空白？

4

2 回答 2

2

因此，在考虑符号、日期、操作时，您有重复项。

In [99]: df.head(10)
Out[99]: 
  symbol                date      change    action
0    FDC 2001-08-15 00:00:00   15.069360       new
1    GPS 2001-08-15 00:00:00   19.653780       new
2    HON 2001-08-15 00:00:00    8.604316       new
3    LIZ 2001-08-15 00:00:00    6.711568       new
4    NKE 2001-08-15 00:00:00   22.686257       new
5    ODP 2001-08-15 00:00:00    5.686902       new
6    OSI 2001-08-15 00:00:00    5.893340       new
7    USB 2001-08-15 00:00:00   15.694478       new
8    NEE 2001-11-15 00:00:00  100.000000       new
9    GPS 2001-11-15 00:00:00  142.522231  increase

创建新的日期索引

In [102]: idx = pd.date_range(df.date.min(),df.date.max())

In [103]: idx
Out[103]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2001-08-15 00:00:00, ..., 2013-08-15 00:00:00]
Length: 4384, Freq: D, Timezone: None

这将按符号和操作分组然后重新索引设置为完整日期（idx）选择唯一剩余的列（更改）现在索引是符号/日期

In [100]: df.groupby(['symbol','action']).apply(
              lambda x: x.set_index('date').reindex(idx)
                  )['change'].reset_index(level=1).head()

Out[100]: 
                     action  change
symbol                             
ADM    2001-08-15  decrease     NaN
       2001-08-16  decrease     NaN
       2001-08-17  decrease     NaN
       2001-08-18  decrease     NaN
       2001-08-19  decrease     NaN

In [101]: df.groupby(['symbol','action']).apply(lambda x: x.set_index('date').reindex(idx))['change'].reset_index(level=1)
Out[101]: 
<class 'pandas.core.frame.DataFrame'>
MultiIndex: 977632 entries, (ADM, 2001-08-15 00:00:00) to (svm, 2013-08-15 00:00:00)
Data columns (total 2 columns):
action    977632  non-null values
change    490  non-null values
dtypes: float64(1), object(1)

然后，您可以填写或填写您需要的任何内容。仅供参考，不确定您将对此做什么，但这不是一种非常常见的操作类型，因为您的数据大多为空。

于 2013-10-21T14:23:04.757 回答
0

目前我遇到了类似的问题，我认为您不应该使用 reindex 而是使用asfreq或resample之类的东西。

有了它们，您就不需要创建索引了。

于 2013-10-21T14:24:57.493 回答