2

我经常遇到的错误是

>> dd.read_csv('/tmp/*.csv', parse_dates=['start_time', 'end_time'])

Traceback (most recent call last):
...
  File "/Users/brettnaul/venvs/model37/lib/python3.6/site-packages/dask/dataframe/io/csv.py", line 163, in coerce_dtypes
    raise ValueError(msg)
ValueError: Mismatched dtypes found in `pd.read_csv`/`pd.read_table`.

The following columns failed to properly parse as dates:

- start_time
- end_time

This is usually due to an invalid value in that column. To
diagnose and fix it's recommended to drop these columns from the
`parse_dates` keyword, and manually convert them to dates later
using `dd.to_datetime`.

显然我的一个文件格式错误，但哪个文件？到目前为止，我提出的最佳解决方案是：

  • 在 IPython 中重新运行相同的命令
  • %调试魔法
  • 将原始 CSV 文本的样本打印到控制台
  • 找到一个独特的文本和 grep 直到我找出有问题的文件

这对我来说似乎非常迂回，但除非我遗漏了一些明显的东西，否则追溯中似乎没有任何其他识别信息。有没有更好的方法来找出哪个文件失败了？使用collection=False和检查Delayed对象也可能有效，但我不确定要寻找什么。有什么方法可以使引发的异常包含有关问题发生位置的一些提示，或者一旦read_csv调用该信息就无法获得？

4

1 回答 1

1

一种方法可能是在读取文件时包含文件名，推迟日期解析（仅遵循错误消息中的建议），将错误视为NaTs，并在结果中找出有问题的错误。在下面的示例中，2.csv并3.csv包含有问题的值：

In [45]: !cat 1.csv
a
2018-01-01
2018-01-02

In [46]: !cat 2.csv
a
2018-01-03
2018-98-04

In [47]: !cat 3.csv
a
2018-01-05b
2018-01-06

In [48]: !cat 4.csv
a
2018-01-07
2018-01-08

In [49]: df = dd.read_csv('*.csv', include_path_column=True)

In [50]: df['a'] = dd.to_datetime(df.a, errors='coerce')

In [51]: df[df['a'].isnull()].path.compute()
Out[51]: 
1    2.csv
0    3.csv

特别是，这告诉我们第二行（索引为 1）2.csv和第一行（索引为 0）3.csv是罪魁祸首。

于 2018-11-08T21:26:36.073 回答