queue - 如何在scrapy中共享作业队列？

Question

我想通过同一个蜘蛛的不同作业共享 url 队列。该JOBDIR设置仅用于存储单个作业的状态。有没有共享 url 队列的解决方案？

Answer 1

我会为此看一下scrapy-redis。似乎足够了。

当然，这是如果您不介意添加 Redis 作为依赖项。