6

我正在使用熊猫来分析财务记录。

我有一个DataFrame来自 csv 文件的文件，如下所示：

<class 'pandas.core.frame.DataFrame'>
DatetimeIndex: 800 entries, 2010-10-27 00:00:00 to 2011-07-12 00:00:00
Data columns:
debit                      800  non-null values
transaction_type           799  non-null values
transaction_date_raw       800  non-null values
credit                     800  non-null values
transaction_description    800  non-null values
account_number             800  non-null values
sort_code                  800  non-null values
balance                    800  non-null values
dtypes: float64(3), int64(1), object(4)

我正在根据交易金额选择一个子集：

c1 = df['credit'].map(lambda x: x > 1000)
milestones = df[c1].sort()

并希望根据里程碑之间的日期创建原始 df 的切片：

delta = dt.timedelta(days=1)
for i in range(len(milestones.index)-1):
        start = milestones.index[i].date()
        end = milestones.index[i+1].date() - delta
        rng = date_range(start, end)

这会生成一个新系列，其中包含我的里程碑之间的日期。

<class 'pandas.tseries.index.DatetimeIndex'>
[2010-11-29 00:00:00, ..., 2010-12-30 00:00:00]
Length: 32, Freq: D, Timezone: None

我遵循了几种方法来使用这些新系列（rng）对我的 df 进行切片，但都失败了：

df.ix[start:end] or
df.ix[rng]

这引发：IndexError：无效切片

df.reindex(rng) or df.reindex(index=rng)

引发：异常：重新索引仅对具有唯一值的索引对象有效

x = [v for v in rng if v in df.index]
df[x]
df.ix[x]
df.index[x]

这也会引发无效切片，因此：

df.truncate(start, end)

我是 pandas 的新手，我正在关注 Oreilly 的早期版本，并且非常喜欢它。任何指针将不胜感激。

4

2 回答 2

1

看起来您在非唯一索引处理中遇到了几个已知错误：

https://github.com/pydata/pandas/issues/1201/

https://github.com/pydata/pandas/issues/1587/

很快就会发布错误修复版本，因此请在一周左右的时间内查看 pandas 网站或 PyPI。

谢谢

于 2012-07-09T20:12:49.260 回答
1

我已经设法规避了上面突出显示的一些问题，这是一个“解决方案”，直到 Chang She 提到的错误得到解决。

我像以前一样从原始的 TimeSeries 索引 DataFrame 开始。我对 df 进行排序，这按日期对记录进行排序（使用 TimeSeries 索引）。

df = df.sort()

排序后，我将 df.index 替换为数字索引

df.index = range(len(df))

我随后像以前一样提取了我的里程碑，不同的是现在这些将有一个正整数索引，并创建该索引的列表：

milestones_list = milestones_df.index.tolist()

并使用数字索引从原始 df 中提取我的里程碑之间的数据，如下所示：

datasets = {}
    for milestone in milestones_list:
        milestone_index = milestones_list.index(milestone)
        print "milestone {0} index {1}".format(milestone, milestone_index)
        if milestone_index < len(milestones_list) -1:
            x = df[milestones_df.index[milestone_index]:milestones_df.index[milestone_index+1]]
        else:
            x = df[milestones_df.index[milestone_index]:df.index.max()]

        n = str(int(x.index.min())) +'-'+  str(int(x.index.max()))
        datasets[n] = x

这会为每个里程碑时间间隔创建一个带有 DataFrames 的字典，命名为它们所代表的索引间隔。

print datasets.keys()
['592-650', '448-527', '382-447', '264-318', '319-381', '118-198', '528-591', '728-798', '54-117', '199-263', '651-727']

虽然诚然不是理想的解决方案，但我希望它可以帮助有类似问题的人。

于 2012-07-10T15:28:07.467 回答