1

我将 a 子类CrawlSpider化并想从网站中提取数据。但是,我总是被重定向到该网站的移动版本。我试图将USER_AGENTscrapy设置中的变量更改为Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.1) Gecko/20060111 Firefox/1.5.0.1,但仍然被重定向。

是否有另一种方法可以向另一个客户发出信号并避免重定向?

4

1 回答 1

2

Scrapy支持两种类型的重定向:

  • RedirectMiddleware- 根据响应状态处理请求重定向
  • MetaRefreshMiddleware- 处理基于 meta-refresh html 标记的请求重定向

那么,也许您的 html 页面使用了第二种类型的重定向?

也可以看看:

于 2013-09-27T09:33:15.723 回答