scrapy - 使用scrapyd有什么优势？

Question

scrapy 文档说：

Scrapy 带有一个名为“Scrapyd”的内置服务，它允许您部署（也称为上传）您的项目并使用 JSON Web 服务控制它们的蜘蛛。

一致性使用scrapyd有一些优势吗？

Answer 1

Scrapyd 允许您通过方便的 Web API 在与您正在使用的机器不同的机器上运行 scrapy，这意味着您可以使用curl甚至是 Web 浏览器来上传新的项目版本并运行它们。否则，如果您想在云中的某个地方运行 Scrapy，则必须scp复制新的蜘蛛代码，然后使用登录ssh并生成您的scrapy crawl myspider.

如果你想并行运行许多蜘蛛，Scrapyd 也会为你管理进程；但是如果你在本地机器上有 Scrapy 并且可以访问命令行或运行蜘蛛的方式并且只想一次运行一个蜘蛛，那么你最好手动运行蜘蛛。

如果您正在开发蜘蛛，那么您肯定不想使用scrapyd快速编译/测试迭代，因为它只会增加一层复杂性。