我将 a 子类CrawlSpider化并想从网站中提取数据。但是，我总是被重定向到该网站的移动版本。我试图将USER_AGENTscrapy设置中的变量更改为Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.1) Gecko/20060111 Firefox/1.5.0.1，但仍然被重定向。
是否有另一种方法可以向另一个客户发出信号并避免重定向？
问问题
1152 次
1 回答
2
Scrapy支持两种类型的重定向：
RedirectMiddleware- 根据响应状态处理请求重定向MetaRefreshMiddleware- 处理基于 meta-refresh html 标记的请求重定向
那么，也许您的 html 页面使用了第二种类型的重定向？
也可以看看：
于 2013-09-27T09:33:15.723 回答