1

当我使用此代码时（改编自 Stephen Holiday 代码- 感谢 Stephen 提供您的代码！）：

#!/usr/bin/env python    
# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-

"""
USSSALoader.py
"""
import os
import re
#import urllib2
from zipfile import ZipFile
import csv
import pickle

def getNameList():
    namesDict=extractNamesDict()
    maleNames=list()
    femaleNames=list()
    for name in namesDict:
        counts=namesDict[name]
        tuple=(name,counts[0],counts[1])
        if counts[0]>counts[1]:
            maleNames.append(tuple)
        elif counts[1]>counts[0]:
            femaleNames.append(tuple)
    names=(maleNames,femaleNames)
    return names

def extractNamesDict():
    zf=ZipFile('names.zip', 'r')
    filenames=zf.namelist()

    names=dict()
    genderMap={'M':0,'F':1}

    for filename in filenames:
        file=zf.open(filename,'r')
        rows=csv.reader(file, delimiter=',')

        for row in rows:
            name=row[0].upper()
           # name=row[0].upper().encode('utf-8')
            gender=genderMap[row[1]]
            count=int(row[2])

            if not names.has_key(name):
                names[name]=[0,0]
            names[name][gender]=names[name][gender]+count

        file.close()
        print '\tImported %s'%filename
    return names

if __name__ == "__main__":
    getNameList()

我收到了这个错误：

  iterator = raw_query.Run(**kwargs)
  File "C:\Program Files (x86)\Google\google_appengine\google\appengine\api\datastore.py", line 1622, in Run
    itr = Iterator(self.GetBatcher(config=config))
  File "C:\Program Files (x86)\Google\google_appengine\google\appengine\api\datastore.py", line 1601, in GetBatcher
    return self.GetQuery().run(_GetConnection(), query_options)
  File "C:\Program Files (x86)\Google\google_appengine\google\appengine\api\datastore.py", line 1490, in GetQuery
    filter_predicate=self.GetFilterPredicate(),
  File "C:\Program Files (x86)\Google\google_appengine\google\appengine\api\datastore.py", line 1534, in GetFilterPredicate
    property_filters.append(datastore_query.make_filter(name, op, values))
  File "C:\Program Files (x86)\Google\google_appengine\google\appengine\datastore\datastore_query.py", line 107, in make_filter
    properties = datastore_types.ToPropertyPb(name, values)
  File "C:\Program Files (x86)\Google\google_appengine\google\appengine\api\datastore_types.py", line 1745, in ToPropertyPb
    pbvalue = pack_prop(name, v, pb.mutable_value())
  File "C:\Program Files (x86)\Google\google_appengine\google\appengine\api\datastore_types.py", line 1556, in PackString
    pbvalue.set_stringvalue(unicode(value).encode('utf-8'))
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe1 in position 1: ordinal not in range(128)

当我的名称包含非 ASCII 字符（如“Chávez”或“Barañao”）时，就会发生这种情况。我试图解决这个问题：

     for row in rows:
           # name=row[0].upper()
            name=row[0].upper().encode('utf-8')
            gender=genderMap[row[1]]
            count=int(row[2])

但是，然后，我得到了另一个错误：

 File "C:\Users\CG\Desktop\Google Drive\Sci&Tech\projects\naivebayes\USSSALoader.py", line 17, in getNameList
    namesDict=extractNamesDict()
  File "C:\Users\CG\Desktop\Google Drive\Sci&Tech\projects\naivebayes\USSSALoader.py", line 43, in extractNamesDict
    name=row[0].upper().encode('utf-8')
UnicodeDecodeError: 'ascii' codec can't decode byte 0xed in position 3: ordinal not in range(128)

我也试过这个：

def extractNamesDict():
    zf=ZipFile('names.zip', 'r', encode='utf-8')
    filenames=zf.namelist()

但ZipFile没有这样的论据。

那么，如何解决UnicodeDecodeError非 ASCII 名称的问题呢？

我正在将此代码与 GAE 一起使用。

4

3 回答 3

2

看起来您的第一个回溯与 AppEngine 相关。您是否正在构建将填充数据存储的加载程序？如果是这样，查看包含模型的代码并执行put'ing 会很有帮助。我可能会被某人纠正，但是为了使该部分起作用，我相信您实际上需要decode代替encode（即，当您在 之前阅读工作表时put，使用decode('utf-8')or将字符串转换为unicode decode('latin1')，具体取决于您的情况）。

至于您的本地代码，我不会假装知道 Unicode 处理的深层内部结构，但我通常使用decode()并encode()处理这些类型的情况。我相信要使用的正确编码取决于底层文本（这意味着您需要知道它是否被编码utf-8或latin-1等）。这是您的示例的快速测试：

>>> s = 'Chávez'
>>> type(s)
<type 'str'>
>>> u = s.decode('latin1')
>>> type(u)
<type 'unicode'>
>>> e = u.encode('latin1')
>>> print e
Chávez

在这种情况下，我需要使用latin1来解码编码的字符串（我使用的是终端），但在你的情况下使用utf-8可能会很好。

于 2012-08-17T01:37:49.940 回答
0

除非我遗漏了什么，否则图书馆中的这一行：

pbvalue.set_stringvalue(unicode(value).encode('utf-8'))

应该：

pbvalue.set_stringvalue(value.decode(filename_encoding).encode('utf-8'))

filename_encoding如果没有以某种方式存储在 zip 存档中（并且至少在格式的早期版本中，我怀疑它是否被存储），那么从您的代码传入的值。这是假设字节和“字符”是同一事物的经典错误的又一次出现。

如果您感到头晕目眩，请深入研究代码并修复它，甚至可以贡献一个补丁。否则，您将不得不编写英雄代码来检查文件名中的 U+0080 及更高版本并执行特殊处理。

于 2012-08-17T03:25:37.933 回答
0

在 python 2.7（和 linux Mint 17.1）中，您必须使用：hashtags=['transito','tránsito','ñandú','pingüino','fhürer'] 用于标签中的 h：u=h.decode('utf -8') 打印(u.encode('utf-8'))

transto tránsito ñandú pingüino fhürer

于 2015-01-31T08:43:20.820 回答