这个问题链接到Searching for Unicode characters in Python
我使用 python 编解码器读取 unicode 文本文件
codecs.open('story.txt', 'rb', 'utf-8-sig')
并试图在其中搜索字符串。但我收到以下警告。
UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal
unicode字符串比较有什么特殊的方法吗？
您可以使用==运算符来比较 unicode 对象是否相等。
>>> s1 = u'Hello'
>>> s2 = unicode("Hello")
>>> type(s1), type(s2)
(<type 'unicode'>, <type 'unicode'>)
>>> s1==s2
True
>>>
>>> s3='Hello'.decode('utf-8')
>>> type(s3)
<type 'unicode'>
>>> s1==s3
True
>>>
但是，您的错误消息表明您没有比较 unicode 对象。您可能正在将一个unicode对象与一个str对象进行比较，如下所示：
>>> u'Hello' == 'Hello'
True
>>> u'Hello' == '\x81\x01'
__main__:1: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal
False
看看我是如何尝试将 unicode 对象与不代表有效 UTF8 编码的字符串进行比较的。
我想您的程序正在将 unicode 对象与 str 对象进行比较，而 str 对象的内容不是有效的 UTF8 编码。这似乎是您（程序员）不知道哪个变量保存 unicide、哪个变量保存 UTF8 以及哪个变量保存从文件中读取的字节的结果。
我推荐http://nedbatchelder.com/text/unipain.html，尤其是创建“Unicode 三明治”的建议。