0 
from glob import glob
pattern = "D:\\report\\shakeall\\*.txt"
filelist = glob(pattern)
def countwords(fp):
    with open(fp) as fh:
        return len(fh.read().split())
print "There are" ,sum(map(countwords, filelist)), "words in the files. " "From directory",pattern
import os
import re
import string
uniquewords = set([])
for root, dirs, files in os.walk("D:\\report\\shakeall"):
    for name in files:
        [uniquewords.add(x) for x in open(os.path.join(root,name)).read().split()]
wordlist = list(uniquewords)

此代码计算唯一字数和总字数。但是，问题是，如果我写 len(uniquewords) ，它会显示不合理的数字，因为它可以识别例如 'shake' 'shake!' “摇一摇”和“摇一摇？” 作为不同的独特词。我试图通过制作列表并修改它来从 uniquewords 中删除标点符号，但一切都失败了。有谁能够帮我？

4

1 回答 1

1
  1. 使用带有\w+模式的正则表达式来匹配单词并排除标点符号。
  2. 在 Python 中使用计数时collections.Counter

此代码的示例数据附加在末尾：

import re
from collections import Counter

pattern = re.compile(r'\w+')

with open('data') as f:
    text = f.read()

print Counter(pattern.findall(text))

给出：

Counter(
{'in': 4, 'the': 4, 'string': 3, 'matches': 3, 'are': 2,
'pattern': 2, '2': 2, 'and': 1, 'all': 1, 'finditer': 1,
'iterator': 1, 'over': 1, 'an': 1, 'instances': 1,
'scanned': 1, 'right': 1, 'RE': 1, 'another': 1, 'touch': 1,
'New': 1, 'to': 1, 'returned': 1, 'Return': 1, 'for': 1,
'0': 1, 're': 1, 'version': 1, 'Empty': 1, 'is': 1,
'match': 1, 'non': 1, 'unless': 1, 'overlapping': 1, 'they': 1, 'included': 1, 'The': 1, 'beginning': 1, 'MatchObject': 1,
'result': 1, 'of': 1, 'yielding': 1, 'flags': 1, 'found': 1,
'order': 1, 'left': 1})

数据：

re.finditer(pattern, string, flags=0) 返回一个迭代器，该迭代器在字符串中的 RE 模式的所有非重叠匹配中产生 MatchObject 实例。从左到右扫描字符串，并按找到的顺序返回匹配项。空匹配包含在结果中，除非它们触及另一个匹配的开始。2.2 版中的新功能。

于 2012-08-11T11:43:17.157 回答