python-2.7 - 如何停止多线程或如何在 Scrapy 中一一发出请求？

Question

我试图以格式爬取产品的数据。1) 添加购物车 2) 查看购物车 3) 删除购物车

对于单色产品，它工作得很好，但对于多色产品，Scrapy 采用多线程，因此上述过程并不适用于每个产品。

我希望scrapy请求如下：

1) 产品 A - 添加购物车 产品 A - 查看购物车 产品 A - 移除购物车

2) 产品 B - 添加购物车 产品 B - 查看购物车 产品 B - 删除购物车

3) 产品 C - 添加购物车 产品 C - 查看购物车 产品 C - 删除购物车

我也使用过（回调时的优先级），但没有运气。协助将不胜感激。提前致谢。

Answer 1

您可以将CONCURRENT_REQUESTS设置设置为1。

如文档中所述：

CONCURRENT_REQUESTS
默认值：16
Scrapy 下载器将执行的并发（即同时）请求的最大数量。