所以我试图通过 PHP 中的 CURL 抓取一些网页。
当我通过 Web 浏览器与 php 脚本查看页面时，我遇到的是不同的结果。
也许他们实现了某种功能来在通过 PHP 脚本查看页面时重定向页面
任何帮助，将不胜感激。
先感谢您。
问问题
507 次
2 回答
1
想象这真的会发生并不是没有道理的。网站所有者可能希望阻止页面抓取。您可以通过这样的 cURL 传递用户代理来测试这个理论（这是 iPhone 的 UserAgent）：
curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5" http://www.apple.com
于 2013-01-04T00:10:41.283 回答
0
您可能会得到不同的结果，因为您加载的页面可能包含一些 ajax 内容并且是动态加载的。cURL 只能加载静态 html，仅此而已。初始负载之后的任何内容都会丢失。如果你想要一个类似体验网络抓取的浏览器，请考虑PhantomJS
于 2013-01-04T00:12:51.217 回答