1

我正在使用 Visual Studio 的 Python 工具并阅读一些用意大利语编写的文件。试过 iso-8859-1、iso-8859-2、utf-8、utf-8-sig。Notepad++ 以不带 BOM 的 UTF-8 格式打开文件。

content = fp.read()
words = content.decode("utf-8-sig").lower().split()
for w in words:
    p=''
    cur.execute('SELECT word FROM  multiwordnet.italian_lemma l, multiwordnet.italian_synset s where l.id = s.id and l.lemma="%s"' % w)

导致崩溃的字符串是C'è. （读作"c\'\xe3\xa8"）

使用 chardet 没有帮助

Traceback (most recent call last):
File "C:\Users\Tathagata\Documents\Visual Studio 2012\Projects\PythonApplicati
on4\PythonApplication4\PythonApplication4.py", line 344, in <module>
createSynsetDict()
File "C:\Users\Tathagata\Documents\Visual Studio 2012\Projects\PythonApplicati
on4\PythonApplication4\PythonApplication4.py", line 294, in createSynsetDict
cur.execute('SELECT word FROM  multiwordnet.italian_lemma l, multiwordnet.it
alian_synset s where l.id = s.id and l.lemma="%s"' % w)
File "C:\Python27\lib\site-packages\pymysql\cursors.py", line 117, in execute
self.errorhandler(self, exc, value)
File "C:\Python27\lib\site-packages\pymysql\connections.py", line 187, in defa
ulterrorhandler
raise Error(errorclass, errorvalue)
Error: (<type 'exceptions.UnicodeEncodeError'>, UnicodeEncodeError('ascii', u's\
x00\x00\x00\x03SELECT word FROM  multiwordnet.italian_lemma l, multiwordnet.ital 
ian_synset s where l.id = s.id and l.lemma="c\'\xe3\xa8"', 116, 118, 'ordinal no
t in range(128)'))
4

1 回答 1

1

假设您的数据库的绑定变量样式是format...

content = fp.read()
words = content.decode("utf-8-sig").lower().split()
for w in words:
    p=''
    cur.execute('SELECT word FROM ' +
                'multiwordnet.italian_lemma l, ' +
                'multiwordnet.italian_synset s ' +
                'where l.id = s.id and l.lemma=%s', w)

请注意，我们没有%在 SQL 字符串和传入的变量之间使用运算符，也没有在 ; 周围加上内引号%s。相反，它%s是一个占位符，用于标识应该在 SQL 中的哪个位置替换单词，并且我们将要替换该占位符的值作为单独的参数传递。遵循这种做法不仅可以防止您需要处理编码问题（如果您的参数作为 Python Unicode 字符串传递，则数据库绑定负责从那里获取它），而且还可以防止SQL 注入安全漏洞。

Python 的其他数据库库可能使用不同的占位符样式；阅读文档或检查您的模块级paramstyle常量。（对于qmark您的占位符应该是?; 因为numeric它应该是冒号前缀的数字（:1对于第一个参数，:2对于第二个等）

于 2013-04-05T00:02:09.713 回答