5

我正在尝试将 CSV 文件的片段读入 pandas DataFrame，当我将 nrows 设置为超过某个点时，我遇到了麻烦。我的 CSV 文件被分成具有不同标题/数据类型的不同段，所以我浏览了文件并找到了不同段的行号，并保存了行号。当我尝试这样做时：

pd.io.parsers.read_csv('filename',skiprows=40, nrows=12646)

它工作正常。任何更多行，它都会引发错误：

CParserError: Error tokenizing data. C error: Expected 56 fields in line 13897, saw 71

确实，第 13897 行有那么多行，这就是我尝试使用 nrows 和 skiprows 的原因。我可以找到 pandas 将读取的最后一行，它看起来与其他行没有任何不同。在十六进制编辑器中查看文件，我仍然看不到任何区别。

我也用另一个 CSV 文件尝试过，我得到了类似的结果：

pd.io.parsers.read_csv('file2',skiprows=112, nrows=18524)

<class 'pandas.core.frame.DataFrame'>
Int64Index: 18188 entries, 0 to 18187

但：

pd.io.parsers.read_csv('file2',skiprows=112, nrows=18525)

给出：

CParserError: Error tokenizing data. C error: Expected 56 fields in line 19190, saw 71

有什么我想念的吗？还有另一种方法可以做到这一点吗？

我在 Windows 上使用： pandas-0.10.1.win-amd64-py3.3、、numpy-MKL-1.7.1rc1.win-amd64-py3.3和。python-3.3.0.amd64我遇到了同样的问题numpy-unoptimized-1.7.1rc1.win-amd64-py3.3。

4

1 回答 1

3

您可以使用warn_bad_linesanderror_bad_lines关闭坏线错误和警告：

import pandas as pd
from StringIO import StringIO
data = StringIO("""a,b,c
1,2,3
4,5,6
6,7,8,9
1,2,5
3,4,5""")
pd.read_csv(data, warn_bad_lines=False, error_bad_lines=False)
于 2013-04-05T21:22:45.780 回答