html-parsing - Scrapy - 如何每天抓取新页面

Question

我正在评估scrapy是否适合我。我想要的只是每天从几个体育新闻网站上抓取最新的头条新闻，然后提取标题、日期和文章正文。我不关心文章正文中的链接，我只想要正文。

据我了解，抓取是一项一次性的工作，它会根据其找到的链接抓取整个网站。我不想锤网站，我也不想爬整个网站；只是体育部分，只有头条新闻。

所以总而言之，我想要scrapy

1. 每天一次从指定域中查找与昨天不同的新闻文章
2. 提取新文章日期、时间和正文
3. 将结果保存到数据库

是否有可能做到这一点，如果可以，我将如何做到这一点。我已经阅读了教程，但似乎他们描述的过程会将整个站点作为一次性工作进行搜索。

Answer 1

看看deltafetch中间件，它是由 scrapinghub 发布的一个scrapy插件库的一部分。它将生成项目的页面的 url 存储在磁盘上，并且不会再次访问它们。它仍然允许scrapy 访问其他页面（通常需要它来查找项目页面）。这是一个非常简单的示例，可以根据您的特定需求进行定制。

您需要在启用此中间件的情况下每天运行爬网（例如，使用 cron）。