我该如何设置？我已经写了handle_httpstatus_list = [301, 302, 303]，但是scrapy没有跟随新的链接，它刚刚开始保存页面的空文件。
PS 英语不是我的母语。请原谅我。
问问题
9726 次
2 回答
6
Scrapy 默认处理重定向，这意味着RedirectMiddleware在设置中被激活DOWNLOADER_MIDDLEWARES并且REDIRECT_ENABLED设置被设置为True.
于 2012-07-03T23:07:13.920 回答
4
您还需要dont_redirect = true在请求中提及：
meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}
问候
于 2011-06-21T10:18:02.247 回答