这似乎应该是一个简单的解决方案,但到目前为止,我还没有找到解决方案。我有一个单列 csv 文件,其中保存在 utf-8 中的非 ascii 字符,我想读入并存储在列表中。我正在尝试遵循“Unicode Sandwich”的原则并在读取文件时进行解码:
import codecs
import csv
with codecs.open('utf8file.csv', 'rU', encoding='utf-8') as file:
input_file = csv.reader(file, delimiter=",", quotechar='|')
list = []
for row in input_file:
list.extend(row)
这会产生可怕的“编解码器无法在位置编码字符,序数不在范围(128)内”错误。
我也尝试从这个答案中调整一个解决方案,它返回一个类似的错误
def unicode_csv_reader(utf8_data, dialect=csv.excel, **kwargs):
csv_reader = csv.reader(utf8_data, dialect=dialect, **kwargs)
for row in csv_reader:
yield [unicode(cell, 'utf-8') for cell in row]
filename = 'inputs\encode.csv'
reader = unicode_csv_reader(open(filename))
target_list = []
for field1 in reader:
target_list.extend(field1)
改编自文档的非常相似的解决方案返回相同的错误。
def unicode_csv_reader(utf8_data, dialect=csv.excel):
csv_reader = csv.reader(utf_8_encoder(utf8_data), dialect)
for row in csv_reader:
yield [unicode(cell, 'utf-8') for cell in row]
def utf_8_encoder(unicode_csv_data):
for line in unicode_csv_data:
yield line.encode('utf-8')
filename = 'inputs\encode.csv'
reader = unicode_csv_reader(open(filename))
target_list = []
for field1 in reader:
target_list.extend(field1)
显然我错过了一些东西。我看到的有关此问题的大多数问题似乎都早于 Python 2.7,因此此处的更新可能很有用。