scrapy - python scrapy 302（我要回原页）

Question

我要去刮 https://movie.douban.com/subject/1292052/这个页面

但是 url 重定向到 http://m.douban.com/movie/subject/1292052 我是如何回到第一页并使用第一页的解析方式（xpath）继续的？谢谢！

Answer 1

您被重定向到移动站点的原因是您的用户代理不是已知的桌面浏览器。

您可以将USER_AGENT变量修改settings.py为类似USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'

如果你坚持不被重定向，你可以meta在你的请求中添加变量{'dont_redirect': True, 'handle_httpstatus_list': [302]}。这样，您就不会被重定向。