0

我有一个问题，可能是它的怪异，但想知道它，

我试图www.facebook.com通过scrapy 用URL 访问facebook。我已经在 start_url 中给出了它。运行后我得到了响应http://m.facebook.com/?refsrc=http%3A%2F%2Fwww.facebook.com%2F&_rdr，当我们在浏览器中打开这个 url 时，我可以期待这是 facebook 的移动视图。那么为什么响应是移动视图而不是我们在桌面上打开时能够看到的一般视图。

提前致谢...................

4

1 回答 1

0

有一个全局设置：USER_AGENT

更新 ：

你知道，也许处理移动版本毕竟是一个优势。当无法执行 javascript 时，其他站点会将浏览器重定向到其他页面：

<noscript> <meta http-equiv="refresh" content="0; URL=/homedepot?_fb_noscript=1" /> </noscript>

处理网站的无 js 版本或移动版本意味着页面尺寸更小，页面上的附加信息更少 - 因此 html 不会随着时间的推移而发生太大变化，并且您的 xpath 查询仍然有效。

在这种情况下，只需在 Firefox 中禁用 JS 或在其中设置不同的 User-Agent 即可获得与 scrapy 获取的相同页面。以下是有关如何使用 Firefox 测试 scrapy 的更多提示：使用 Firefox 进行抓取

于 2012-06-19T14:51:00.283 回答