scrapy - 如何将 python 请求与 scrapy 一起使用？

Question

我试图用来requests获取页面然后将响应对象传递给解析器，但我遇到了一个问题：

def start_requests(self):
    yield self.parse(requests.get(url))
def parse(self, response):
  #pass

builtins.AttributeError：“生成器”对象没有属性“dont_filter”

Answer 1

您首先需要下载页面的响应，然后将该字符串转换为 HtmlResponse 对象

from scrapy.http import HtmlResponse
resp = requests.get(url)

response = HtmlResponse(url="", body=resp.text, encoding='utf-8')