0

我正在编写一些 Python 3 代码来获取 NNTP 消息、解析标头并处理数据。我的代码在前几百条消息中运行良好，然后我抛出异常。

例外是：

sys.exc_info()
(<class 'UnicodeDecodeError'>, UnicodeDecodeError('utf-8', b"Ana\xefs's", 3, 4, 'invalid continuation byte'), <traceback object at 0x7fe325261c08>)

问题来自试图解析主题。消息的原始内容是：

{'subject': 'Re: Mme. =?UTF-8?B?QW5h73Mncw==?= Computer Died', 'from': 'Fred Williams <unclefred@webruler.com>', 'date': 'Sun, 05 Aug 2007 18:55:22 -0400', 'message-id': '<13bclaqcdot4s55@corp.supernews.com>', 'references': '<mq0cb35ci3tv53hnahmnognh2rauqpveqb@4ax.com>', ':bytes': '1353', ':lines': '14', 'xref': 'number1.nntp.dca.giganews.com rec.pets.cats.community:171958'}

那个？UTF-8？是我不知道如何处理的。自己呕吐的代码片段是：

for msgId, msg in overviews:
    print(msgId)
    hdrs = {}
    if msgId == 171958:
        print(msg)
    try:
        for k in msg.keys():
            hdrs[k] = nntplib.decode_header(msg[k])
    except:
        print('Unicode error!')
        continue
4

1 回答 1

0

这里的问题是您的输入实际上是无效的。

这个字符串是问题：

'Re: Mme. =?UTF-8?B?QW5h73Mncw==?= Computer Died'

你可以这样做来解码它：

import email.header
email.header.decode_header('Re: Mme. =?UTF-8?B?QW5h73Mncw==?= Computer Died')

结果是：

[(b'Re: Mme. ', None), (b"Ana\xefs's", 'utf-8'), (b' Computer Died', None)]

所以，丑陋的部分=?UTF-8?B?QW5h73Mncw==?=是b"Ana\xefs's"，它应该是一个 UTF-8 字符串，但它不是有效的 UTF-8。

>>> b"Ana\xefs's".decode('utf-8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xef in position 3: invalid continuation byte

这是您看到的错误。

现在由您决定要做什么。例如...

忽略错误：

>>> b"Ana\xefs's".decode('utf-8', errors='ignore')
"Anas's"

将其标记为错误：

>>> b"Ana\xefs's".decode('utf-8', errors='replace')
"Ana�s's"

大胆猜测正确的编码：

>>> b"Ana\xefs's".decode('windows-1252')
"Anaïs's"
>>> b"Ana\xefs's".decode('iso-8859-1')
"Anaïs's"
>>> b"Ana\xefs's".decode('iso-8859-2')
"Anaďs's"
>>> b"Ana\xefs's".decode('iso-8859-4')
"Anaīs's"
>>> b"Ana\xefs's".decode('iso-8859-5')
"Anaяs's"
于 2019-12-02T22:58:05.143 回答