4

我有一个大的制表符分隔的数据文件，我想在 python 中使用 pandas“read_csv 或 'read_table' 函数读取它。当我读取这个大文件时，它向我显示以下错误，即使关闭了“index_col”价值。

>>> read_csv("test_data.txt", sep = "\t", header=0, index_col=None)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/Library/Frameworks/EPD64.framework/Versions/7.3/lib/python2.7/site-packages/pandas/io/parsers.py", line 187, in read_csv
    return _read(TextParser, filepath_or_buffer, kwds)
  File "/Library/Frameworks/EPD64.framework/Versions/7.3/lib/python2.7/site-packages/pandas/io/parsers.py", line 160, in _read
    return parser.get_chunk()
  File "/Library/Frameworks/EPD64.framework/Versions/7.3/lib/python2.7/site-packages/pandas/io/parsers.py", line 613, in get_chunk
    raise Exception(err_msg)
Exception: Implicit index (columns 0) have duplicate values [372, 1325, 1497, 1636, 2486,<br> 2679, 3032, 3125, 4261, 4669, 5215, 5416, 5569, 5783, 5821, 6053, 6597, 6835, 7485, 7629, 7684, 7827, 8590, 9361, 10194, 11199, 11707, 11782, 12397, 15134, 15299, 15457, 15637, 16147, 17448,<br> 17659, 18146, 18153, 18398, 18469, 19128, 19433, 19702, 19830, 19940, 20284, 21724, 22764, 23514, 25095, 25195, 25258, 25336, 27011, 28059, 28418, 28637, 30213, 30221, 30574, 30611, 30871, 31471, .......

我认为我的数据中可能有重复的值，因此使用 grep 将其中一些值重定向到文件中。

 grep "9996744\|9965107\|740645\|9999752" test_data.txt > delnow.txt

现在，当我阅读此文件时，它被正确读取，如下所示。

>>> read_table("delnow.txt", sep = "\t", header=0, index_col=None)
<class 'pandas.core.frame.DataFrame'>
Int64Index: 20 entries, 0 to 19
Data columns:
0740645                                                                 20  non-null values
M                                                                       20  non-null values
BLACK/CAPE VERDEAN                                                      20  non-null values

这里发生了什么？我正在努力寻找解决方案，但无济于事。

我还在 unix 中尝试了“uniq”命令，以查看是否存在重复行但找不到任何重复行。

它是否与块大小有关？

我正在使用以下版本的熊猫

>>> pandas.__version__
'0.7.3'
>>>
4

1 回答 1

1

安装熊猫最新版本。

我现在可以阅读了。

>>> import pandas
>>> pandas.__version__
'0.8.1'
于 2012-09-19T17:29:42.283 回答