python - 是否可以在同一个 Scrapy 蜘蛛中为不同的请求设置不同的设置？

Question

我只想将 Crawlera 用于 Scrapy 蜘蛛中的某些请求。所以我想CRAWLERA_ENABLED为不同的请求设置不同的设置。是否可以？

Answer 1

对于那些不想使用 Crawlera 的请求，您可以使用该dont_proxy键。meta例如

# Supposing you have crawlera enabled in `settings.py`
yield scrapy.Request(
    url, 
    meta={"dont_proxy": True}, 
    callback=self.parse
)