machine-learning - 词袋分类

Question

我需要找到单词训练单词及其分类。简单的分类如。体育娱乐和政治之类的。

我在哪里可以找到单词及其分类。我知道很多大学都做过词袋分类。是否有任何培训示例存储库？

Answer 1

这不是您正在寻找的内容，但您可能会发现http://labs.google.com/sets很有趣。
你可以输入一堆单词，它会吐出一个相关单词列表，你可以递归地把它扔回第一页以获得更多相关单词。

或者，下载大量维基百科文章（您已经知道每个页面的类别 [ http://en.wikipedia.org/wiki/Special:Categories ]）并编写一个简单的脚本来挑选在一个类别的文章，但在其他类别的文​​章中频率很低

Answer 2

您可以使用 20 个新闻组数据http://people.csail.mit.edu/jrennie/20Newsgroups来查找每个主题的此类词。对数据运行支持向量机，它会给你每个类的词权重。您可以使用前 20 或 50 个单词。该数据集有 20 个类别，如宗教、政治、体育等。希望对您有所帮助。

Answer 3

我不知道这样的单词列表，但可以建议使用维基百科和维基分类的副本。您可以解析 Wikipedia 的 XML 版本（我已经这样做了）并收集来自不同主题的单词。