5

我正在探索 Pandas - 尝试学习和应用它。目前，我有一个 csv 文件，其中填充了以下结构的金融时间序列数据：

date, time, open, high, low, close, volume 2003.04.08,12:00,1.06830,1.06960,1.06670,1.06690,446 2003.04.08,13:00,1.06700,1.06810,1.06570,1.06630,433 2003.04.08,14:00,1.06650,1.06810,1.06510,1.06670,473 2003.04.08,15:00,1.06670,1.06890,1.06630,1.06850,556 2003.04.08,16:00,1.06840,1.07050,1.06610,1.06680,615

现在我想将 csv 数据转换为 pandas DataFrame 对象，以便日期和时间字段合并并成为 DataFrame 的 DateTimeIndex，如下所示：

df = pa.read_csv(path,
                 names = ['date', 'time', 'open', 'high', 'low', 'close', 'vol'],
                 parse_dates = {'dateTime': ['date', 'time']},  
                 index_col = 'dateTime')

这可以产生一个很好的 DataFrame 对象：

<class 'pandas.core.frame.DataFrame'>
Index: 8676 entries, 2003.04.08 12:00 to nan nan
Data columns (total 5 columns):
open     8675  non-null values
high     8675  non-null values
low      8675  non-null values
close    8675  non-null values
vol      8675  non-null values
dtypes: float64(5)

但经过检查，事实证明 Index 不是 DataTimeIndex 而是 unicode 字符串：

type(df.index)
>>> pandas.core.index.Index
df.index
>>> Index([u'2003.04.08 12:00', u'2003.04.08 13:00', u'2003.04.08 14:00', ....

因此read_csv解析了日期和时间字段，将它们合并但没有创建 DateTimeIndex。据我从文档中了解到，一个提供日期时间对象列表的新数据结构对象应该自动创建一个 DateTimeIndex。我错了吗？DataFrame 对象是一个例外吗？

我还尝试像这样转换当前索引：

df.index = pa.to_datetime(df.index)

但没有对索引进行任何更改，它仍然是 unicode 格式。我开始怀疑默认的解析函数没有做他们的工作，但我没有从他们那里得到任何错误消息。

在这种情况下，如何在 DateFrame 中获得有效的 DateTimeIndex？

解决方案：

df = pa.read_csv(path,
                 names = ['date', 'time', 'open', 'high', 'low', 'close', 'vol'],
                 parse_dates={'datetime':['date','time']},
                 keep_date_col = True, 
                 index_col='datetime'
             )

现在应用 lambda 函数，做解析器应该做的事情：

df['datetime'] = df.apply(lambda row: datetime.datetime.strptime(row['date']+ ':' + row['time'], '%Y.%m.%d:%H:%M'), axis=1)
4

1 回答 1

7

Dateutil 无法正确解析您的数据，但您可以在加载后使用strptime：

import datetime
df['DateTime'] = df.apply(lambda row: datetime.datetime.strptime(row['date']+ ':' + row['time'], '%Y.%m.%d:%H:%M'), axis=1)

这将为您生成“日期时间”列datetime64[ns]，您可以将其用作索引

编辑

嗯..有趣的是，当我这样做时，它会起作用：

df = pd.read_csv(r'c:\data\temp.txt', parse_dates={'datetime':['date','time']}, index_col='datetime')

你能看到当你将列名从参数中删除时会发生什么read_csv

于 2013-10-25T13:56:47.277 回答