现在我计划以更分散的方式使用scrapy，我不确定蜘蛛/管道/下载器/调度器和引擎是否都托管在单独的进程或线程中，有人可以分享一些关于这个的信息吗？我们可以更改每个组件的进程/线程数吗？我知道现在有两个设置“CONCURRENT_REQUESTS”和“CONCURRENT_ITEMS”，它们将决定下载器和管道的并发线程，对吧？如果我想在不同的机器上部署蜘蛛/管道/下载器，我需要序列化项目/请求/响应，对吗？非常感谢您的帮助！！
谢谢，爱德华。
问问题
862 次
1 回答
4
Scrapy 是单线程的。它使用Reactor 模式来实现并发网络请求。这是使用Twisted框架完成的。
想要分发 Scrapy 的人通常会尝试实现一些消息传递框架。有些人使用 Redis，有些人尝试 RabbitMQ
也看看Scrapyd
于 2012-11-15T14:27:22.000 回答