scrapy - 爬取完成后scrapy重启爬虫

Question

当我的 Scrapy 爬虫完成后，我想再次自动启动同一个爬虫。这可以通过 Scrapy 函数完成，还是我必须使用 Cronjob，例如 crontab？

Answer 1

除非您禁用欺骗过滤器并在下载页面时重新请求同一页面，否则普通的 Scrapy 运行无法执行此操作。这是一个有点hacky的解决方案，但从技术上讲它会起作用。

Cronjob 或循环运行的 Bash 脚本可以解决问题。