screen-scraping - scrapy如何设置referer url

Question

我需要设置引荐来源网址，在抓取网站之前，该网站使用基于引荐来源网址的身份验证，因此如果引荐来源网址无效，我将无法登录。

有人可以告诉如何在 Scrapy 中执行此操作吗？

Answer 1

如果您想更改蜘蛛请求中的引用者，可以DEFAULT_REQUEST_HEADERS在settings.py文件中进行更改：

DEFAULT_REQUEST_HEADERS = {
    'Referer': 'http://www.google.com' 
}

Answer 2

您应该完全按照@warwaruk 的指示进行操作，以下是我对爬行蜘蛛的详细说明：

from scrapy.spiders import CrawlSpider
from scrapy import Request

class MySpider(CrawlSpider):
  name = "myspider"
  allowed_domains = ["example.com"]
  start_urls = [
      'http://example.com/foo'
      'http://example.com/bar'
      'http://example.com/baz'
      ]
  rules = [(...)]

  def start_requests(self):
    requests = []
    for item in self.start_urls:
      requests.append(Request(url=item, headers={'Referer':'http://www.example.com/'}))
    return requests    

  def parse_me(self, response):
    (...)

这应该在您的终端中生成以下日志：

(...)
[myspider] DEBUG: Crawled (200) <GET http://example.com/foo> (referer: http://www.example.com/)
(...)
[myspider] DEBUG: Crawled (200) <GET http://example.com/bar> (referer: http://www.example.com/)
(...)
[myspider] DEBUG: Crawled (200) <GET http://example.com/baz> (referer: http://www.example.com/)
(...)

将与 BaseSpider 相同。最后 start_requests 方法是 BaseSpider 方法，CrawlSpider 继承自该方法。

文档解释了除了 headers 之外要在 Request 中设置的更多选项，例如：cookies、回调函数、请求的优先级等。

Answer 3

只需在请求标头中设置Referer url

class scrapy.http.Request(url[, method='GET', body, headers, ...

headers (dict) – the headers of this request. The dict values can be strings (for single valued headers) or lists (for multi-valued headers).

例子：

return Request(url=your_url, headers={'Referer':'http://your_referer_url'})

Answer 4

覆盖BaseSpider.start_requests并在那里创建您的自定义请求，并将其传递给您的referer标头。