1

我正在尝试分析一系列密码的频率。我的脚本正在使用其他输入媒体，但是在我当前的数据集中似乎有一些坏字符。我怎样才能绕过“坏”数据？

import re
import collections 
words = re.findall('\w+', open('rockyou.txt').read().lower())
a=collections.Counter(words).most_common(50)
for word in a:
     print(word)

然后我得到错误：

Traceback (most recent call last):
  File "shakecount.py", line 3, in <module>
    words = re.findall('\w+', open('rockyou.txt').read().lower().ASCII)
  File "/Library/Frameworks/Python.framework/Versions/3.2/lib/python3.2/codecs.py", line 300, in decode
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf8' codec can't decode byte 0xf1 in position 5079963: invalid continuation byte

有任何想法吗？

4

1 回答 1

5

您的代码与您的错误不完全匹配（我假设尝试调试？），但您的文本文件不是UTF-8.

您需要手动指定编码，我最好的猜测是latin-1：

words = re.findall('\w+', open('rockyou.txt', encoding='latin-1').read().lower())

如果你想在错误的情况下继续，你可以传递errors='ignore'或errors='replace'到open.

于 2012-04-11T21:31:55.093 回答