0

在抓取 manta.com 页面时,我一次又一次地收到 cookie 消息,消息是 Array ( [FILE] => Oops。在您继续之前,请激活您的浏览器 cookie。

我正在使用这样的cookie

curl_setopt($ch, CURLOPT_TIMEOUT, CURL_TIMEOUT);    // Timeout
curl_setopt($ch, CURLOPT_USERAGENT, WEBBOT_NAME);   // Webbot name
curl_setopt($ch, CURLOPT_URL, $target);             // Target site
curl_setopt($ch, CURLOPT_REFERER, $ref);            // Referer value
curl_setopt($ch, CURLOPT_VERBOSE, FALSE);           // Minimize logs
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);    // No certificate
curl_setopt($ch, CURLOPT_PROXY, '10.1.11.11:8080');
curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 0);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, TRUE);     // Follow redirects
curl_setopt($ch, CURLOPT_MAXREDIRS, 4);             // Limit redirections to four
curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);     // Return in string
//curl_setopt($ch, CURLOPT_COOKIESESSION, TRUE);
4

1 回答 1

-1

您不能轻易抓取 manta.com。他们有一个反机器人系统,即使您伪装您的代理,也可以停止机器人活动。我相信你仍然可以抓取它们,但这需要时间和大量的聪明才智。

于 2014-01-12T01:14:15.880 回答