-1

我正在编写一个简单的爬虫,它应该从网络上获取信息。

商家为我提供了一个搜索链接,我可以在其中传递我的查询,例如http://www.merchant.com?query=<query_text>重定向到商家服务器中的实际产品页面。

如果我知道这是通过 301 重定向,有没有办法在 php.ini 中获取重定向的 url。

另一个类似的问题是,另一个商家有基于 jquery 的重定向,基于类似的查询搜索,商家通过windows.document.href="final url".

有没有办法获得这些信息。任何帮助高度赞赏。

4

1 回答 1

1

您可以在第一个案例中使用 PHP 来实现这一点cURL

尝试这样的事情。(只是一个开始)

<?php
$query="your search query";
$url = "http://www.merchant.com?query=" . $query;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // This is important (for redirect)
$output=curl_exec($ch);//This variable contains the info of your search result 
echo $output;
于 2013-09-15T08:22:52.240 回答