我很好奇是否存在通过使用一些权重计算、出现率或其他工具从给定文本生成关键字/标签的算法/方法。
此外，如果您为此指出任何基于 Python 的解决方案/库，我将不胜感激。
谢谢
问问题
28134 次
5 回答
59
做到这一点的一种方法是提取文档中出现频率高于您预期的单词。例如，假设在更大的文档集合中，“马尔可夫”一词几乎从未见过。但是，在同一集合中的特定文档中，马尔可夫非常频繁地出现。这表明马尔可夫可能是与文档相关联的一个很好的关键字或标签。
要识别这样的关键字，您可以使用关键字和文档的逐点互信息。这是由 给出的PMI(term, doc) = log [ P(term, doc) / (P(term)*P(doc)) ]。这将粗略地告诉您，在特定文档中遇到该术语与在更大的集合中遇到该术语相比，您有多少（或更多）感到惊讶。
要确定与文档相关联的 5 个最佳关键字，您只需按其与文档的 PMI 分数对术语进行排序，然后选择得分最高的 5 个。
如果您想提取多词标签，请参阅 StackOverflow 问题如何从一系列文本条目中提取常用/重要短语。
借用我对该问题的回答，NLTK collocations how-to涵盖了如何使用 n-gram PMI 在大约 7 行代码中提取有趣的多词表达式，例如：
import nltk
from nltk.collocations import *
bigram_measures = nltk.collocations.BigramAssocMeasures()
# change this to read in your data
finder = BigramCollocationFinder.from_words(
nltk.corpus.genesis.words('english-web.txt'))
# only bigrams that appear 3+ times
finder.apply_freq_filter(3)
# return the 5 n-grams with the highest PMI
finder.nbest(bigram_measures.pmi, 5)
于 2010-04-18T22:57:28.990 回答
10
首先，计算语言学的关键python库是NLTK（“ Natural Language Toolkit ”）。这是一个由专业计算语言学家创建和维护的稳定、成熟的库。它还包含大量教程、常见问题解答等。我强烈推荐它。
下面是一个简单的模板，在 python 代码中，用于您的问题中提出的问题；虽然它是一个运行的模板——将任何文本作为字符串提供（就像我所做的那样），它会返回一个词频列表以及这些词的排序列表，按“重要性”（或作为关键字的适用性）的顺序排列) 根据一个非常简单的启发式。
给定文档的关键字（显然）是从文档中的重要词中选择的，即那些可能将其与另一个文档区分开来的词。如果您对文本的主题没有先验知识，一种常见的技术是根据给定单词/术语的频率或重要性 = 1/频率来推断其重要性或权重。
text = """ The intensity of the feeling makes up for the disproportion of the objects. Things are equal to the imagination, which have the power of affecting the mind with an equal degree of terror, admiration, delight, or love. When Lear calls upon the heavens to avenge his cause, "for they are old like him," there is nothing extravagant or impious in this sublime identification of his age with theirs; for there is no other image which could do justice to the agonising sense of his wrongs and his despair! """
BAD_CHARS = ".!?,\'\""
# transform text into a list words--removing punctuation and filtering small words
words = [ word.strip(BAD_CHARS) for word in text.strip().split() if len(word) > 4 ]
word_freq = {}
# generate a 'word histogram' for the text--ie, a list of the frequencies of each word
for word in words :
word_freq[word] = word_freq.get(word, 0) + 1
# sort the word list by frequency
# (just a DSU sort, there's a python built-in for this, but i can't remember it)
tx = [ (v, k) for (k, v) in word_freq.items()]
tx.sort(reverse=True)
word_freq_sorted = [ (k, v) for (v, k) in tx ]
# eg, what are the most common words in that text?
print(word_freq_sorted)
# returns: [('which', 4), ('other', 4), ('like', 4), ('what', 3), ('upon', 3)]
# obviously using a text larger than 50 or so words will give you more meaningful results
term_importance = lambda word : 1.0/word_freq[word]
# select document keywords from the words at/near the top of this list:
map(term_importance, word_freq.keys())
于 2010-04-18T18:19:09.470 回答
5
http://en.wikipedia.org/wiki/Latent_Dirichlet_allocation尝试将训练语料库中的每个文档表示为主题的混合，而这些主题又是将单词映射到概率的分布。
我曾经用它来剖析产品评论的语料库，将其分解为所有文档中都在谈论的潜在想法，例如“客户服务”、“产品可用性”等。基本模型不提倡转换的方法主题模型成一个词来描述一个主题是关于什么的......但是一旦他们的模型被训练，人们已经想出了各种启发式方法来做到这一点。
我建议您尝试使用http://mallet.cs.umass.edu/并查看此模型是否符合您的需求。
LDA 是一种完全无监督的算法，这意味着它不需要您手动注释任何很棒的东西，但另一方面，它可能无法为您提供您期望它提供的主题。
于 2010-04-18T22:31:56.433 回答
2
该问题的一个非常简单的解决方案是：
- 计算文本中每个单词的出现次数
- 将最常见的术语视为关键短语
- 有一个“停用词”黑名单来删除常用词，如 the, and, it, is 等
我确信有更聪明的，基于统计的解决方案。
如果您需要在更大的项目中使用解决方案而不是为了利益，Yahoo BOSS 有一个关键术语提取方法。
于 2010-04-18T09:44:57.027 回答
0
潜在狄利克雷分配或分层狄利克雷过程可用于通过从派生主题中提取最重要的单词来为更大的语料库（文本主体）中的单个文本生成标签。
一个基本的例子是，如果我们在语料库上运行 LDA 并将其定义为有两个主题，我们进一步发现语料库中的文本 70% 是一个主题，30% 是另一个主题。然后可以将定义第一个主题的前 70% 的单词和定义第二个主题的 30%（不重复）视为给定文本的标签。此方法提供了强大的结果，其中标签通常代表给定文本的更广泛主题。
通过在此处找到这些代码所需的预处理的一般参考，我们可以使用gensim通过以下过程找到标签。
在这个答案中找到了一种为 LDA 推导最佳主题数量的启发式方法。尽管 HDP 不需要主题数作为输入，但在这种情况下，标准仍然是使用带有派生主题数的 LDA，因为 HDP 可能会出现问题。这里假设发现语料库有 10 个主题，我们希望每个文本有 5 个标签：
from gensim.models import LdaModel, HdpModel
from gensim import corpora
num_topics = 10
num_tags = 5
进一步假设我们有一个变量corpus，它是列表的预处理列表，子列表条目是单词标记。初始化 Dirichlet 字典并创建一个单词包，其中文本被转换为其组件标记（单词）的索引：
dirichlet_dict = corpora.Dictionary(corpus)
bow_corpus = [dirichlet_dict.doc2bow(text) for text in corpus]
创建 LDA 或 HDP 模型：
dirichlet_model = LdaModel(corpus=bow_corpus,
id2word=dirichlet_dict,
num_topics=num_topics,
update_every=1,
chunksize=len(bow_corpus),
passes=20,
alpha='auto')
# dirichlet_model = HdpModel(corpus=bow_corpus,
# id2word=dirichlet_dict,
# chunksize=len(bow_corpus))
以下代码为每个主题的最重要单词生成有序列表（请注意，这里num_tags定义了每个文本所需的标签）：
shown_topics = dirichlet_model.show_topics(num_topics=num_topics,
num_words=num_tags,
formatted=False)
model_topics = [[word[0] for word in topic[1]] for topic in shown_topics]
然后找到文本中主题的连贯性：
topic_corpus = dirichlet_model.__getitem__(bow=bow_corpus, eps=0) # cutoff probability to 0
topics_per_text = [text for text in topic_corpus]
从这里我们可以得到每个文本与给定主题相关的百分比，以及与每个主题相关联的单词，因此我们可以将它们组合为带有以下内容的标签：
corpus_tags = []
for i in range(len(bow_corpus)):
# The complexity here is to make sure that it works with HDP
significant_topics = list(set([t[0] for t in topics_per_text[i]]))
topic_indexes_by_coherence = [tup[0] for tup in sorted(enumerate(topics_per_text[i]), key=lambda x:x[1])]
significant_topics_by_coherence = [significant_topics[i] for i in topic_indexes_by_coherence]
ordered_topics = [model_topics[i] for i in significant_topics_by_coherence][:num_topics] # subset for HDP
ordered_topic_coherences = [topics_per_text[i] for i in topic_indexes_by_coherence][:num_topics] # subset for HDP
text_tags = []
for i in range(num_topics):
# Find the number of indexes to select, which can later be extended if the word has already been selected
selection_indexes = list(range(int(round(num_tags * ordered_topic_coherences[i]))))
if selection_indexes == [] and len(text_tags) < num_tags:
# Fix potential rounding error by giving this topic one selection
selection_indexes = [0]
for s_i in selection_indexes:
# ignore_words is a list of words should not be included
if ordered_topics[i][s_i] not in text_tags and ordered_topics[i][s_i] not in ignore_words:
text_tags.append(ordered_topics[i][s_i])
else:
selection_indexes.append(selection_indexes[-1] + 1)
# Fix for if too many were selected
text_tags = text_tags[:num_tags]
corpus_tags.append(text_tags)
corpus_tags将是每个文本的标签列表，基于文本与派生主题的连贯程度。
有关为整个文本语料库生成标签的类似版本，请参阅此答案。
于 2020-10-09T18:32:49.697 回答