3

我想从文本中获取最相关的单词以准备标签云。

我使用了 scikit-learn 包中的 CountVectoriser：

cv = CountVectorizer(min_df=1, charset_error="ignore",
    stop_words="english", max_features=200)

这很好，因为它给了我单词和频率：

counts = cv.fit_transform([text]).toarray().ravel()
words = np.array(cv.get_feature_names())

我可以过滤掉不常用的单词：

words = words[counts > 1]
counts = counts[counts > 1]

以及单词，即数字：

words = words[np.array(map(lambda x: x.isalpha(), words))]
counts = counts[np.array(map(lambda x: x.isalpha(), words))]

但它仍然不完美......

我的问题是：

  1. 如何过滤掉动词？
  2. 如何进行词干提取以摆脱同一个词的不同形式？
  3. 如何调用 CountVectoriser 过滤掉两个字母的单词？

另请注意：

  1. 我对 nltk 没意见，但像“你应该试试 nltk”这样的回答不是答案，请给我一个代码。
  2. 我不想使用贝叶斯分类器和其他需要训练模型的技术。我没有时间，也没有训练分类器的例子。
  3. 语言是英语
4

1 回答 1

6

1-如何过滤掉动词？

取决于您要支持的语言。您将需要一个好的句子 + 单词标记器对和一个词性标注器。这三个组件通常使用机器学习模型来实现（尽管您可以使用基于规则的句子和单词标记器获得良好的结果）。如果您只想支持英语，您可以在 nltk 中找到预训练模型，但我不是专家，您必须阅读文档和教程 :)

一旦您知道如何将文本拆分为句子和单词并识别和删除动词，您就可以将其包装为 python 函数并将其传递给CountVectorizer构造函数，见下文。

2-如何执行词干去除同一个词的不同形式？

您必须将自定义tokenizerpython 可调用函数传递给CountVectorizer构造函数，以同时处理令牌提取、词干提取和可选过滤。这在文档中进行了解释。

对于词干本身，这取决于您要支持的语言，但您可以从http://nltk.org/api/nltk.stem.html开始

有一个拉取请求可以更自然地插入词干分析器：

https://github.com/scikit-learn/scikit-learn/pull/1537

3- 如何调用 CountVectorizer 过滤掉两个字母的单词？

您可以更改用于标记化的默认正则表达式：

>>> from sklearn.feature_extraction.text import CountVectorizer
>>> CountVectorizer().token_pattern
u'(?u)\\b\\w\\w+\\b'
>>> CountVectorizer(token_pattern=u'(?u)\\b\\w{3,}\\b').build_tokenizer()(
...    'a ab abc abcd abcde xxxxxxxxxxxxxxxxxxxxxx')
['abc', 'abcd', 'abcde', 'xxxxxxxxxxxxxxxxxxxxxx']
>>> CountVectorizer(token_pattern=u'(?u)\\b\\w{3,9}\\b').build_tokenizer()(
...     'a ab abc abcd abcde xxxxxxxxxxxxxxxxxxxxxx')
['abc', 'abcd', 'abcde']

但在您的情况下，您可能希望整体替换标记器。您仍然可以查看默认实现的源代码。

不过要注意一点：要构建标签云，直接使用 nltk 和collections.Counterpython 标准库中的类可能要容易得多。sklearn 并没有为您提供太多的这项任务。

于 2013-02-07T14:58:41.653 回答