10

我在 Ubuntu 13.10 上的 ipython3 中使用 pandas 0.12.0，以便在 txt 文件中处理大型制表符分隔的数据集。使用 read_table 从 txt 创建 DataFrame 似乎可行，并且第一行被读取为标题，但尝试使用其名称作为索引访问第一列会引发 KeyError。我不明白为什么会发生这种情况，因为列名似乎都已被正确读取，并且可以以这种方式对所有其他列进行索引。

数据如下所示：

RECORDING_SESSION_LABEL LEFT_GAZE_X LEFT_GAZE_Y RIGHT_GAZE_X    RIGHT_GAZE_Y    VIDEO_FRAME_INDEX   VIDEO_NAME
73_1    .   .   395.1   302 .   .
73_1    .   .   395 301.9   .   .
73_1    .   .   394.9   301.7   .   .
73_1    .   .   394.8   301.5   .   .
73_1    .   .   394.6   301.3   .   .
73_1    .   .   394.7   300.9   .   .
73_1    .   .   394.9   301.3   .   .
73_1    .   .   395.2   302 1   1_1_just_act.avi
73_1    .   .   395.3   302.3   1   1_1_just_act.avi
73_1    .   .   395.4   301.9   1   1_1_just_act.avi
73_1    .   .   395.7   301.5   1   1_1_just_act.avi
73_1    .   .   395.9   301.5   1   1_1_just_act.avi
73_1    .   .   396 301.5   1   1_1_just_act.avi
73_1    .   .   395.9   301.5   1   1_1_just_act.avi
15_1    395.4   301.7   .   .   .   .

分隔符绝对是制表符，并且没有尾随或前导空格。

这个最小程序会发生错误：

import pandas as pd

samples = pd.read_table('~/datafile.txt')

print(samples['RECORDING_SESSION_LABEL'])

这给出了错误：

---------------------------------------------------------------------------
KeyError                                  Traceback (most recent call last)
<ipython-input-65-137d3c16b931> in <module>()
----> 1 print(samples['RECORDING_SESSION_LABEL'])

/usr/lib/python3/dist-packages/pandas/core/frame.py in __getitem__(self, key)
   2001             # get column
   2002             if self.columns.is_unique:
-> 2003                 return self._get_item_cache(key)
   2004 
   2005             # duplicate columns

/usr/lib/python3/dist-packages/pandas/core/generic.py in _get_item_cache(self, item)
    665             return cache[item]
    666         except Exception:
--> 667             values = self._data.get(item)
    668             res = self._box_item_values(item, values)
    669             cache[item] = res

/usr/lib/python3/dist-packages/pandas/core/internals.py in get(self, item)
   1654     def get(self, item):
   1655         if self.items.is_unique:
-> 1656             _, block = self._find_block(item)
   1657             return block.get(item)
   1658         else:

/usr/lib/python3/dist-packages/pandas/core/internals.py in _find_block(self, item)
   1934 
   1935     def _find_block(self, item):
-> 1936         self._check_have(item)
   1937         for i, block in enumerate(self.blocks):
   1938             if item in block:

/usr/lib/python3/dist-packages/pandas/core/internals.py in _check_have(self, item)
   1941     def _check_have(self, item):
   1942         if item not in self.items:
-> 1943             raise KeyError('no item named %s' % com.pprint_thing(item))
   1944 
   1945     def reindex_axis(self, new_axis, method=None, axis=0, copy=True):

KeyError: 'no item named RECORDING_SESSION_LABEL'

简单地做print(samples)给出了打印整个表格的预期输出，包括第一列和它的标题。尝试打印任何其他列（即，完全相同的代码，但将“RECORDING_SESSION_LABEL”替换为“LEFT_GAZE_X”）可以正常工作。此外，标题似乎已正确读取，并且 pandas 将“RECORDING_SESSION_LABEL”识别为列名。这可以通过使用 .info() 方法并查看样本的 .columns 属性来证明，在它被读入之后：

>samples.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 28 entries, 0 to 27
Data columns (total 7 columns):
RECORDING_SESSION_LABEL    28  non-null values
LEFT_GAZE_X                 28  non-null values
LEFT_GAZE_Y                 28  non-null values
RIGHT_GAZE_X                28  non-null values
RIGHT_GAZE_Y                28  non-null values
VIDEO_FRAME_INDEX           28  non-null values
VIDEO_NAME                  28  non-null values
dtypes: object(7)

>print(samples.columns)

Index(['RECORDING_SESSION_LABEL', 'LEFT_GAZE_X', 'LEFT_GAZE_Y', 'RIGHT_GAZE_X', 'RIGHT_GAZE_Y', 'VIDEO_FRAME_INDEX', 'VIDEO_NAME'], dtype=object)

当使用 ipython 的制表符完成时，会发生另一个我认为相关的错误行为，它允许我访问示例的列，就好像它们是属性一样。它适用于除第一列之外的每一列。IE; >samples.R只用建议按 tab 键samples.RIGHT_GAZE_X samples.RIGHT_GAZE_Y。

那么为什么它在查看整个数据框时表现正常，但在尝试按其名称访问第一列时失败，即使它似乎已正确读取该名称？

4

4 回答 4

16

这似乎（与）一个已知问题有关，请参阅GH #4793。使用'utf-8-sig'as 编码似乎有效。没有它，我们有：

>>> df = pd.read_table("datafile.txt")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
'\xef\xbb\xbfRECORDING_SESSION_LABEL'

但有了它，我们有

>>> df = pd.read_table("datafile.txt", encoding="utf-8-sig")
>>> df.columns
Index([u'RECORDING_SESSION_LABEL', u'LEFT_GAZE_X', u'LEFT_GAZE_Y', u'RIGHT_GAZE_X', u'RIGHT_GAZE_Y', u'VIDEO_FRAME_INDEX', u'VIDEO_NAME'], dtype='object')
>>> df.columns[0]
u'RECORDING_SESSION_LABEL'
>>> df["RECORDING_SESSION_LABEL"].max()
u'73_1'

（上面使用了 Python 2，但 Python 3 也是如此。）

于 2014-02-16T13:29:56.653 回答
3

听起来您只需要有条件地从文件开头删除 BOM。您可以使用文件周围的包装器来执行此操作，如下所示：

def remove_bom(filename):
    fp = open(filename, 'rbU')
    if fp.read(2) != b'\xfe\xff':
        fp.seek(0, 0)
    return fp

# read_table also accepts a file pointer, so we can remove the bom first
samples = pd.read_table(remove_bom('~/datafile.txt'))

print(samples['RECORDING_SESSION_LABEL'])
于 2014-02-16T22:40:24.310 回答
2

我也偶然发现了类似的问题。当我阅读 df = pandas.read_csv(csvfile, sep) 时，第一列的名称有这种奇怪的格式：

df.columns[0]

返回了这个结果：

'\xef\xbb\xbfColName'

当我尝试选择此列时，出现错误：

df.ColName

回来

AttributeError: 'DataFrame' object has no attribute 'ColName'

阅读完这篇文章后，我只是使用我的外部程序 Sublime 来更改编码并将文件另存为新文件（使用编码 UTF-8 保存，但没有 BOM）。

之后 pandas 正确读取了第一列名称，我可以选择它df.ColName并返回正确的值。这么一件小事，花了45分钟才解决。

TLDR：使用不带 BOM 的编码保存文件。

于 2016-10-05T09:49:11.223 回答
0

我认为您遇到的问题只是 datafile.txt 中的“标签”实际上不是标签。（当我使用您的代码阅读它时，数据框有 1 列和 15 行。）您可以执行正则表达式搜索和替换，或者，按原样解析它：

import pandas as pd
from numpy import transpose

with open('~/datafile.txt', 'r') as datafile:
    data = datafile.read()
while '  ' in data:
    data = data.replace('  ', ' ')
data = transpose([row.split(' ') for row in data.strip().split('\n')])
datadict = {}
for col in data:
    datadict[col[0]] = col[1:]
samples = pd.DataFrame(datadict)
print(samples['RECORDING_SESSION_LABEL'])

这对我来说适用于您的datafile.txt：生成的数据框有 15 行 x 7 列。

于 2014-02-16T06:51:43.700 回答