前段时间，我使用Text::DeDupe编写了一个小脚本来删除重复的博客文章，然后才不得不关注它们。
在阅读了实现所依据的 Web 论文的句法聚类之后，我希望能够找到重叠的文档（例如，与全文相对的博客片段，也许还有引号）。
您是否知道在编写自己的 C、C++ 或 perl 中我可以尝试的任何其他实现？
dpavlin
问问题
2007 次
1 回答
2
SpotSigs 似乎正好符合我的要求，这里有一些参考资料：
- http://dbpubs.stanford.edu/pub/2008-10
- http://infoblog.stanford.edu/2008/08/spotsigs-are-stopwords-finally-good-for.html
- http://ilpubs.stanford.edu:8090/860/
该模块的源代码托管在 GitHub 上：
于 2010-04-26T17:44:36.187 回答