2

我已经构建了一个网络爬虫，它获取网站或 RSS 提要，解析提要和/或网站的所述内容，提取所有适当的信息，然后将其保存到数据库中。这是一个个人实验，看看我是否可以构建一个没有真正目的的智能匿名网络爬虫，只是为了看看我能走多远，然后我将开源代码供其他人学习。

问题是我目前正在抓取 3 个新闻网站。当涉及突发新闻时，所有 3 个网站（尤其是如果它是一个大故事）很有可能都会写自己对新闻的解释，但最终是同一个新闻。

我一直在尝试提出一个解决方案，当一篇被拉入的文章已经被谈论并从另一个新闻网站导入并且可能链接与故事相关时（其他网站也写过关于这：链接1，链接2）。

是否有一种久经考验的方法来检测一个或多个内容是否有效相同？我已经编写了一些伪代码，但不幸的是，我不是一个非常聪明的开发人员来接受它并使它成为可行的东西。

这是我的想法：

  1. 解析到网站的链接
  2. 通用词被删除，关键字留在（公司名称，国家等）
  3. 然后计算剩余的单词并计算分数

这就是我的想法遇到障碍的地方。如何有效地创建页面快照，然后将其与我已经导入的数据库中预先存在的内容进行比较？这就是我认为需要做的事情。

也许我想多了，我只需要检查文章是否有相似的标题？

4

1 回答 1

1

我的方法是分析来自单个网站的单个报废结果，省略凭证和其他各种常见项目。

现在。从其余部分中创建每个新故事的分析，如何？我们可以通过对个别故事中的术语进行加权优先级来做到这一点，如何？就像对非字典术语（可能是公司名称、个人名称）给予权重一样，对城市名称、地区给予权重。将这些非字典术语相互匹配，并与技术术语相匹配。

My exp says that matching up non-dictionary terms like these would solve atleast 50% of your problem, plus its all about making a profile.

于 2013-09-12T09:43:03.180 回答