0

我应该计算文档“个人文章”中所有文件中字典“d”的所有键值的频率这里，文档“个人文章”有大约20000个txt文件，文件名1,2， 3,4... 例如：假设 d[Britain]=[5,76,289] 必须返回英国在属于文档“个人文章”的文件 5.txt,76.txt,289.txt 中出现的次数，而且我还需要在同一文档中的所有文件中找到它的频率。对于同一个示例，我需要将这些值存储在另一个 d2 中，d2 必须包含 (Britain,26,1200) 其中 26 是文件 5.txt、76.txt 和 289.txt 中英国一词的频率，而 1200 是英国在所有文件中出现的频率。我是一个python新手，我尝试过的很少！请帮忙！！

import collections
import sys
import os
import re
sys.stdout=open('dictionary.txt','w')
from collections import Counter
from glob import glob
def removegarbage(text):
    text=re.sub(r'\W+',' ',text)
    text=text.lower()
    sorted(text)
    return text


folderpath='d:/individual-articles'
counter=Counter()


filepaths = glob(os.path.join(folderpath,'*.txt'))


d2={}
with open('topics.txt') as f:
    d = collections.defaultdict(list)
    for line in f:
        value, *keys = line.strip().split('~')
        for key in filter(None, keys):
            d[key].append(value)

for filepath in filepaths:
    with open(filepath,'r') as filehandle:
        lines = filehandle.read()
        words = removegarbage(lines).split()
        for k in d.keys():
            d2[k] = words.count(k)

for i in d2.items():
    print(i)
4

1 回答 1

1

好吧，我不确定文档“X”中的所有文件是什么意思，但我认为它类似于书中的页面。有了这种解释，我会尽我所能以最简单的方式存储数据。将数据放入易于操作的位置会在以后提高效率，因为您始终可以添加一种方法来完成您想要的输出类型和类型。

由于您正在查看的主键似乎是关键字，因此我将创建一个具有此结构的嵌套 python 字典

dict = (keyword:{file:count})

一旦采用这种形式，您就可以非常轻松地对数据进行任何类型的操作。

要创建这个字典，

import os
# returns the next word in the file
def words_generator(fileobj):
    for line in fileobj:
        for word in line.split():
            yield word
word_count_dict = {}
for dirpath, dnames, fnames in os.walk("./"):
    for file in fnames:
        f = open(file,"r")
        words = words_generator(f)
        for word in words:
            if word not in word_count_dict:
                  word_count_dict[word] = {"total":0}
            if file not in word_count_dict[word]:
                  word_count_dict[word][file] = 0
            word_count_dict[word][file] += 1              
            word_count_dict[word]["total"] += 1

这将创建一个易于解析的字典。

想要总字数英国？

word_count_dict["Britain"]["total"]

想要英国在文件 74.txt 和 75.txt 中出现的次数？

sum([word_count_dict["Britain"][file] if file in word_count_dict else 0 for file in ["74.txt", "75.txt"]])

想查看所有包含“英国”一词的文件吗？

[file for key in word_count_dict["Britain"]]

您当然可以编写通过简单调用执行这些操作的函数。

于 2013-06-19T08:49:43.747 回答