0

我正在使用 cURL 和 DOM PHP 抓取网页。网络有一个产品部分，您可以在其中逐页查看所有产品，并且您还有用于更简洁搜索的子部分，在每页中列出了 9 个产品。

我需要存储子部分的信息以获取产品所属的信息。我从所有小节的 URL 开始，上面的程序显示了我如何尝试获取小节的下 9 个产品页面。

问题在于网络使用一些我认为它在 cookie 上的信息进行重定向，因为网络中没有发布跟踪。

例如：在所有产品部分，第二页的 URL 如下：

www.example.com/product/?n=2

任何小节的第一页都有一个唯一的 URL，例如：

www.example.com/product/subsection

问题是下一个小节页面（接下来的 9 个产品）的链接是

www.example.com/product/?n=2

URL 与所有产品部分相同，但它显示子部分产品。问题是我得到的是 ALL PRODUCTS 页面而不是 SUBSECTION 页面。

我尝试过使用 cookie，但没有得到明显的结果。有什么建议吗？

<?php
    private ckfile;

    public function main()
    {
        $this->ckfile = tempnam ("C:/Web/", "CURLCOOKIE");
        $copy = $this->get_page();

        $next_visit = $this->link_next($copy);
        while($next_visit != false){//it's not last page
            $copy = $this->get_page($next_visit,$get_name($next_visit));
            $next_visit = $this->link_next($copy);
        }
    }

    public function get_page($URL = "http://www.example.com" , $nombre = "example" )
    {       
        $ch = curl_init();
        $options = array(
                        CURLOPT_HTTPHEADER      => array("Accept-Language: es-es,en"),
                        CURLOPT_USERAGENT       => "Googlebot/2.1 (+http://www.google.com/bot.html)",
                        CURLOPT_AUTOREFERER     => true,         // set referer on redirect ,
                        CURLOPT_ENCODING        => "",               //allow all encodings
                        CURLOPT_FOLLOWLOCATION  => true,         // follow redirects
                        CURLOPT_HEADER          => false,               
                        CURLOPT_CONNECTTIMEOUT  => 120,          // timeout on connect 
                        CURLOPT_TIMEOUT         => 120,          // timeout on response 
                        CURLOPT_MAXREDIRS       => 10,           // stop after 10 redirects 
                        CURLOPT_COOKIEFILE      => $this->ckfile,
                        CURLOPT_COOKIEJAR       =>  $this->ckfile,
                        CURLOPT_RETURNTRANSFER  => true,
                        CURLOPT_URL             => $URL
                        );
        curl_setopt_array($ch, $options);

        $g = 'C:/Web/'.$nombre.'.html';
        if(!is_file($g)){
            $fp=fopen ($g, "w");
            curl_setopt ($ch,CURLOPT_FILE, $fp);
            $trash = curl_exec ($ch); // don't browse them       
            fclose($fp); 
        }
        curl_close ($ch);
    return $g;      
    }

    public function link_next($value)
    {
        # function that searches the DOM for a link and returns a well formed URL
            # or returns false if doesn't find one( last page)
    }
?>
4

1 回答 1

2

要使用 curl multi 拨打多个电话：

$ch = curl_multi_init();

不是

    $ch = curl_init();

有关示例，请参阅此帖子多个 PHP cUrl 帖子到同一页面

于 2012-11-15T15:24:15.923 回答