0

我不明白这个错误代码。有人可以帮我吗？

UnicodeEncodeError: 'ascii' codec can't encode character u'\xe4' in position 2: 
ordinal not in range(128)

这是代码：

import urllib2, os, zipfile
from lxml import etree

def xmlSplitter(data,separator=lambda x: x.startswith('<?xml')):
  buff = []
  for line in data:
    if separator(line):
      if buff:
        yield ''.join(buff)
        buff[:] = []
    buff.append(line)
  yield ''.join(buff)

def first(seq,default=None):
  """Return the first item from sequence, seq or the default(None) value"""
  for item in seq:
    return item
  return default

datasrc = "http://commondatastorage.googleapis.com/patents/grantbib/2011/ipgb20110104_wk01.zip"
filename = datasrc.split('/')[-1]

if not os.path.exists(filename):
  with open(filename,'wb') as file_write:
    r = urllib2.urlopen(datasrc)
    file_write.write(r.read())

zf = zipfile.ZipFile(filename)
xml_file = first([ x for x in zf.namelist() if x.endswith('.xml')])
assert xml_file is not None

count = 0
for item in xmlSplitter(zf.open(xml_file)):
  count += 1
  if count > 10: break
  doc = etree.XML(item)
  docID = first(doc.xpath('//publication-reference/document-id/doc-number/text()'))
  title = first(doc.xpath('//invention-title/text()'))
  lastName = first(doc.xpath('//addressbook/last-name/text()'))
  firstName = first(doc.xpath('//addressbook/first-name/text()'))
  street = first(doc.xpath('//addressbook/address/street/text()'))
  city = first(doc.xpath('//addressbook/address/city/text()'))
  state = first(doc.xpath('//addressbook/address/state/text()'))
  postcode = first(doc.xpath('//addressbook/address/postcode/text()'))
  country = first(doc.xpath('//addressbook/address/country/text()'))
  print "DocID:    {0}\nTitle:    {1}\nLast Name: {2}\nFirst Name: {3}\nStreet: {4}\ncity: {5}\nstate: {6}\npostcode: {7}\ncountry: {8}\n".format(docID,title,lastName,firstName,street,city,state,postcode,country)

我在互联网上的某个地方获得了代码，我只更改了一小部分，即添加了街道、城市、州、邮政编码和国家。

XML 文件大约包含 200 万行代码，您认为是这个原因吗？

4

3 回答 3

3

没有纯文本这样的东西。文本始终具有编码，这是您用一系列字节表示给定符号（字母、逗号、日文汉字）的方式。符号“代码”到字节之间的映射称为编码。

在 python 2.7 中，编码文本（str）和通用的未编码文本（unicode()）之间的区别充其量是令人困惑的。python 3 抛弃了整个事情，默认情况下你总是使用 unicode 类型。

无论如何，发生的事情是您试图读取一些文本并将其放入字符串中，但该文本包含无法强制转换为 ASCII 编码的内容。ASCII 只能理解 0-127 范围内的字符，这是标准的字符集（用于编程的字母、数字、符号）。ASCII 的一种可能扩展是 latin-1（也称为 iso-8859-1），其中 128-255 范围映射到拉丁字符，例如带重音的 a。这种编码的优点是您仍然可以获得一个字节 == 一个字符。UTF-8 是 ASCII 的另一种扩展，您可以在其中释放一个字节 == 一个字符的约束，并允许一些字符用一个字节表示，一些字符用两个字节表示，依此类推。

要解决您的问题，这取决于。这取决于问题出在哪里。我猜您正在解析一个以您不知道的某种编码编码的文本文件，我猜它可能是 latin-1 或 UTF-8。如果这样做，则必须在 open() 中打开指定 encoding='utf-8' 的文件，但这取决于。从你提供的东西很难说。

于 2013-04-07T10:03:13.240 回答
3

您正在解析 XML，并且该库已经知道如何为您处理解码。API 返回unicode对象，但您试图将它们视为字节字符串。

在您调用的地方''.format()，您使用的是 python 字节串而不是unicode对象，因此 Python 必须对 Unicode 值进行编码以适应字节串。为此，它只能使用默认值，即 ASCII。

简单的解决方案是在那里使用 unicode 字符串，注意u''字符串文字：

print u"DocID:    {0}\nTitle:    {1}\nLast Name: {2}\nFirst Name: {3}\nStreet: {4}\ncity: {5}\nstate: {6}\npostcode: {7}\ncountry: {8}\n".format(docID,title,lastName,firstName,street,city,state,postcode,country)

Python 在打印时仍然需要对其进行编码，但至少现在 Python 可以对您的终端进行一些自动检测并确定它需要使用什么编码。

你可能想阅读 Python 和 Unicode：

于 2013-04-07T10:30:20.397 回答
1

ASCII 字符范围从0 (\x00) 到 127 (\x7F)。您的角色 (\xE4=228) 大于可能的最高值。因此，您必须更改编解码器（例如更改为 UTF-8）才能对该值进行编码。

于 2013-04-07T09:51:18.560 回答