python - 如何使用带有旋转代理的scrapy-splash？

Question

我只是通过使用以下作为请求来成功抓取 js 内容

def start_requests(self): 
    for url in self.start_urls: 
        yield scrapy.Request(
            url, 
            self.parse, 
            meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5} } }
        )

如何在抓取动态内容时同时应用scrapyexcute和 端点以使用旋转代理服务？render.htmlrequest

Answer 1

您不必同时使用execute和render.html端点，execute更通用。关于代理，execute端点支持proxy参数（参见文档），它可以是代理 URL，也可以是代理配置文件名称。