词频 (TF) 和逆文档频率 (IDF) 如何受到停用词移除和词干提取的影响？
谢谢！
问问题
8092 次
1 回答
17
tf是词频 idf是逆文档频率，它是通过将文档总数除以包含该词的文档数，然后取该商的对数而获得的。
词干效应是对源自同一词干的所有单词进行分组（例如：played, play,..），这种分组将增加该词干的出现率，因为频率是使用词干而不是词计算的，例如，如果您有 2 个文档：第一个包含 'play' 2 次和 'played' 5 次，第二个文档包含 'play' 3 次和 'played' 1 时间因为它出现了更多的单词“play”，而如果你做词干，两个词在词干后都会是“play”，第一个文档将是第一个，因为它包含词干播放 7 次，第二个文档包含词干播放4次。
关于停用词的去除，它在所有文档中都经常出现，并且不被视为其中任何一个的关键字，它会在没有任何场景的情况下具有很高的频率。
于 2012-06-02T16:50:05.460 回答