design-patterns - 在 n 个文本文档中检测相似词

Question

我有 n 个文档，想查找这些文档中包含的常用词。例如，我想说 (n-3) 个文档包含单词“web”。

当然，我可以通过基本的数据结构来做到这一点，但可能有有效的算法或处理具有不同后缀的相同单词的方法。有没有用于这种目的的算法？

我不熟悉数据挖掘世界。一般来说，是否有一个术语用于寻找不同文档之间的相似性？如果有的话，我会很容易地进行我的研究。

谢谢。

Answer 1

我想你在谈论stemming. 如果你想使用R 语言，你必须使用tm 包。

• tm 包介绍
• R中的文本挖掘基础设施

如果没有，我只能建议这个文本挖掘工具列表

Answer 2

您可以通过为每个文档生成一个包含计数的单词列表、按字母顺序对单词列表进行排序并比较两个列表来做到这一点。这是 O(n lg n)。

另一种方法是使用您选择的数据库提供的全文搜索。