web-scraping - 从scrapy shell获取https响应

Question

我有一个蜘蛛，它在最初的几个步骤中从一个站点获取 cookie。我想获取 cookie，开始抓取，如果当前请求的 HTTP 状态 == 302，我想循环回 cookie 部分以刷新它们。如何将 HTTP 状态记录为 scrapy shell 中的变量，以添加“如果 http_status ==302，中断并返回步骤 1”？谢谢！

Answer 1

我是个白痴。如果有人遇到这种情况，您只需将变量（在我的情况下为 http_response）设置为 response.status。所以 http_response = response.status 返回 '200' 或其他取决于当前请求的状态。大声笑解决了。