python - 使用 scrapyd 运行多个蜘蛛

Question

我的项目中有多个蜘蛛，所以决定通过上传到 scrapyd 服务器来运行它们。我已经成功上传了我的项目，当我运行命令时我可以看到所有的蜘蛛

curl http://localhost:6800/listspiders.json?project=myproject

当我运行以下命令时

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

因为只给了一个蜘蛛，所以只有一个蜘蛛运行，但我想在这里运行多个蜘蛛，所以下面的命令适合在 scrapyd 中运行多个蜘蛛？

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider1,spider2,spider3........

稍后我将使用 cron 作业运行此命令，我的意思是我将安排此命令频繁运行

score 2 · Accepted Answer

如果您想使用 scrapyd 运行多个蜘蛛，请一一安排它们。scrapyd 将以相同的顺序运行它们，但不会同时运行。

1 回答 1