31

我有以下代码。我知道我可以使用apply_freq_filter函数来过滤掉少于频率计数的搭配。但是，在我决定为过滤设置什么频率之前，我不知道如何获取文档中所有 n-gram 元组（在我的情况下为双元组）的频率。如您所见，我正在使用 nltk collocations 类。

import nltk
from nltk.collocations import *
line = ""
open_file = open('a_text_file','r')
for val in open_file:
    line += val
tokens = line.split()

bigram_measures = nltk.collocations.BigramAssocMeasures()
finder = BigramCollocationFinder.from_words(tokens)
finder.apply_freq_filter(3)
print finder.nbest(bigram_measures.pmi, 100)
4

4 回答 4

47

NLTK 自带bigrams generator，还有一个方便的FreqDist()功能。

f = open('a_text_file')
raw = f.read()

tokens = nltk.word_tokenize(raw)

#Create your bigrams
bgs = nltk.bigrams(tokens)

#compute frequency distribution for all the bigrams in the text
fdist = nltk.FreqDist(bgs)
for k,v in fdist.items():
    print k,v

一旦您可以访问 BiGram 和频率分布，您就可以根据需要进行过滤。

希望有帮助。

于 2013-01-19T10:05:38.807 回答
12

该finder.ngram_fd.viewitems()功能有效

于 2013-01-21T01:22:09.850 回答
6 
from nltk import FreqDist
from nltk.util import ngrams    
def compute_freq():
   textfile = open('corpus.txt','r')

   bigramfdist = FreqDist()
   threeramfdist = FreqDist()

   for line in textfile:
        if len(line) > 1:
        tokens = line.strip().split(' ')

        bigrams = ngrams(tokens, 2)
        bigramfdist.update(bigrams)
compute_freq()
于 2018-03-08T18:02:56.680 回答
4

我尝试了以上所有方法并找到了一个更简单的解决方案。NLTK 带有一个简单的最常见的频率 Ngram。

filters_sentence 是我的单词标记

import nltk
from nltk.util import ngrams
from nltk.collocations import BigramCollocationFinder
from nltk.metrics import BigramAssocMeasures

word_fd = nltk.FreqDist(filtered_sentence)
bigram_fd = nltk.FreqDist(nltk.bigrams(filtered_sentence))

bigram_fd.most_common()

这应该给出如下输出：

[(('working', 'hours'), 31),
 (('9', 'hours'), 14),
 (('place', 'work'), 13),
 (('reduce', 'working'), 11),
 (('improve', 'experience'), 9)]
于 2019-11-01T09:11:44.047 回答