scrapy - 让 Scrapy 从上一个断点继续爬

Question

我正在使用 scrapy 抓取网站，但发生了不好的事情（断电等）。

我想知道我怎样才能从它被打破的地方继续爬行。我不想从种子开始。

Answer 1

这可以通过将预定请求持久保存到磁盘来完成。

scrapy crawl somespider -s JOBDIR=crawls/somespider-1

有关更多信息，请参阅http://doc.scrapy.org/en/latest/topics/jobs.html。