21

这似乎应该是一个简单的解决方案，但到目前为止，我还没有找到解决方案。我有一个单列 csv 文件，其中保存在 utf-8 中的非 ascii 字符，我想读入并存储在列表中。我正在尝试遵循“Unicode Sandwich”的原则并在读取文件时进行解码：

import codecs
import csv

with codecs.open('utf8file.csv', 'rU', encoding='utf-8') as file:
input_file = csv.reader(file, delimiter=",", quotechar='|')
list = []
for row in input_file:
    list.extend(row)

这会产生可怕的“编解码器无法在位置编码字符，序数不在范围（128）内”错误。

我也尝试从这个答案中调整一个解决方案，它返回一个类似的错误

def unicode_csv_reader(utf8_data, dialect=csv.excel, **kwargs):
    csv_reader = csv.reader(utf8_data, dialect=dialect, **kwargs)
    for row in csv_reader:
        yield [unicode(cell, 'utf-8') for cell in row]

filename = 'inputs\encode.csv'
reader = unicode_csv_reader(open(filename))
target_list = []
for field1 in reader:
    target_list.extend(field1)

改编自文档的非常相似的解决方案返回相同的错误。

def unicode_csv_reader(utf8_data, dialect=csv.excel):
    csv_reader = csv.reader(utf_8_encoder(utf8_data), dialect)
    for row in csv_reader:
        yield [unicode(cell, 'utf-8') for cell in row]

def utf_8_encoder(unicode_csv_data):
    for line in unicode_csv_data:
    yield line.encode('utf-8')

filename = 'inputs\encode.csv'
reader = unicode_csv_reader(open(filename))
target_list = []
for field1 in reader:
    target_list.extend(field1)

显然我错过了一些东西。我看到的有关此问题的大多数问题似乎都早于 Python 2.7，因此此处的更新可能很有用。

4

3 回答 3

18

你的第一个片段不起作用。您正在将 unicode 数据提供给 csv 阅读器，该阅读器（如文档所述）无法处理它。

您的第二个和第三个片段混淆了。您只需要以下内容：

f = open('your_utf8_encoded_file.csv', 'rb')
reader = csv.reader(f)
for utf8_row in reader:
    unicode_row = [x.decode('utf8') for x in utf8_row]
    print unicode_row
于 2012-05-22T22:52:54.123 回答
12

从第一个字符读取失败时，您可能有一个 BOM。如果codecs.open('utf8file.csv', 'rU', encoding='utf-8-sig')您的文件是 UTF8 并且开头有 BOM，则使用此选项。

于 2012-05-22T22:07:39.193 回答
-2

我建议尝试：

input_file = csv.reader(open('utf8file.csv', 'r'), delimiter=",", quotechar='|')

或者

input_file = csv.reader(open('utf8file.csv', 'rb'), delimiter=",", quotechar='|')

csv 应该是 unicode 感知的，它应该可以工作。

于 2012-05-22T21:40:34.420 回答