php - 从网站获取 301 重定向链接

Question

我正在编写一个简单的爬虫，它应该从网络上获取信息。

商家为我提供了一个搜索链接，我可以在其中传递我的查询，例如http://www.merchant.com?query=<query_text>重定向到商家服务器中的实际产品页面。

如果我知道这是通过 301 重定向，有没有办法在 php.ini 中获取重定向的 url。

另一个类似的问题是，另一个商家有基于 jquery 的重定向，基于类似的查询搜索，商家通过windows.document.href="final url".

有没有办法获得这些信息。任何帮助高度赞赏。

Answer 1

您可以在第一个案例中使用 PHP 来实现这一点cURL。

尝试这样的事情。（只是一个开始）

<?php
$query="your search query";
$url = "http://www.merchant.com?query=" . $query;
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE); // This is important (for redirect)
$output=curl_exec($ch);//This variable contains the info of your search result 
echo $output;