python - 如何在 Scrapy Splash 请求中发送自定义标头？

Question

我的 spider.py 文件是这样的：

def start_requests(self):
    for url in self.start_urls:
        yield scrapy.Request(
            url,
            self.parse,
            headers={'My-Custom-Header':'Custom-Header-Content'},
            meta={
                'splash': {
                    'args': {
                        'html': 1,
                        'wait': 5,
                    },
                }
            },
        )

我的解析定义如下：

def parse(self, response):
    print(response.request.headers)

当我运行我的蜘蛛时，下面的行被打印为标题：

{
    b'Content-Type': [b'application/json'], 
    b'Accept': [b'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'],
    b'Accept-Language': [b'en'], 
    b'User-Agent': [b'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.2309.372 Safari/537.36'], 
    b'Accept-Encoding': [b'gzip,deflate']
}

如您所见，这没有我添加到 Scrapy 请求的自定义标头。

任何人都可以帮我为此请求添加自定义标头值吗？

提前致谢。

Answer 1

如果您希望在指定 url 的请求中使用您的标头，那么您应该将标头添加到该args部分，以及html和wait：

meta={
   'splash': {
        'args': {
            'html': 1,
            'wait': 5,
            'headers': {
                'My-Custom-Header': 'Custom-Header-Content',
            },
        },
    }
}