我正在编写一个简单的爬虫,它应该从网络上获取信息。
商家为我提供了一个搜索链接,我可以在其中传递我的查询,例如http://www.merchant.com?query=<query_text>
重定向到商家服务器中的实际产品页面。
如果我知道这是通过 301 重定向,有没有办法在 php.ini 中获取重定向的 url。
另一个类似的问题是,另一个商家有基于 jquery 的重定向,基于类似的查询搜索,商家通过windows.document.href="final url"
.
有没有办法获得这些信息。任何帮助高度赞赏。