python - 更改运行蜘蛛的数量scrapyd

Question

嘿，所以我的项目中有大约 50 个蜘蛛，我目前正在通过 scrapyd 服务器运行它们。我遇到了一个问题，我使用的一些资源被锁定并导致我的蜘蛛失败或运行速度非常慢。我希望他们能以某种方式告诉scrapyd 一次只有一个正在运行的蜘蛛，并将其余的留在待处理的队列中。我在文档中没有看到此配置选项。任何帮助将非常感激！

Answer 1

这可以通过scrapyd 设置来控制。设置max_proc为1：

max_proc

将启动的最大并发 Scrapy 进程数。