1

我有一个来自外部的 csv 文件，因此我无法更改其定义或格式，我必须将其读入数据库。

该文件有一些对于 csv 格式看起来很奇怪的东西，我想知道是否有一种方法可以使用 csv.reader 或 pandas 导入它，而无需使用 regex 或类似方法进行一些特定的更正。

该文件使用竖线 (|) 作为分隔符。看看这两个示例行：

1. '11|2000-02-18|Badjora|22|33|44|55|""|""Wood 6.5"" Long Line (Pine - Category:15 m | Humidity max: 13 g/m3)""|4'

2. '333|1999-02-18|Badjora|444|555|666|777|""|"""|4'

有没有办法将其解释为以下字段？

1. 11,2000-02-18,Badjora,22,33,44,55,,"Wood 6.5"" Long Line (Pine - Category:15 m | Humidity max: 13 g/m3)",4

2. 333,1999-02-18,Badjora,444,555,666,777,,",4

诸如“考虑引号之间的所有内容”之类的东西。

我尝试使用不同的导入设置选项，但没有成功。似乎这种格式对 csv 无效。

非常感谢您提前。

问候所有人

4

2 回答 2

0

假设您的.csv文件如下所示：

11|2000-02-18|Badjora|22|33|44|55|""|""Wood 6.5"" Long Line (Pine - Category:15 m | Humidity max: 13 g/m3)""|4
333|1999-02-18|Badjora|444|555|666|777|""|"""|4

你可以用这个很好地阅读那个文件：

import csv

with open("sample.csv") as sample:
    reader = csv.reader(sample, delimiter="|")
    for row in reader:
        print(row)

这很好地输出：

['11', '2000-02-18', 'Badjora', '22', '33', '44', '55', '', 'Wood 6.5"" Long Line (Pine - Category:15 m ', ' Humidity max: 13 g/m3)""', '4']
['333', '1999-02-18', 'Badjora', '444', '555', '666', '777', '', '"|4\n']

但是，如果您想修复分隔符，请使用以下命令：

with open("sample.csv") as sample, open("fixed_sample.csv", "w", newline="") as outfile:
    reader = csv.reader(sample, delimiter="|")
    writer = csv.writer(outfile, delimiter=",")
    for item in reader:
        writer.writerow(item)
于 2021-02-19T11:51:59.967 回答
0

想出了这个带有 pandas 的 hacky 正则表达式分隔符，适用于您给定的示例。我不建议这样做，并建议使用正则表达式实际修复 csv。无论如何，你去：

pd.read_csv('sample.csv', sep=r'"?(?<!\s)\|(?!\s)"?', engine='python', header=None)

仍有一些区域可能会破裂，例如管道附近没有任何空间。也是一个实际的分隔管，在它之前/之后有空格。主要问题是您的 csv 包含导致这些问题的未转义引号。

于 2021-02-19T12:58:06.430 回答