php - php auto 转到下一页并抓取

Question

我是 Php 的新手，我正在尝试编写一个抓取亚马逊产品标题的工具现在，我可以抓取第一页，但我需要该工具才能转到下一页，直到没有页面剩下并执行相同的任务正在抓取的第一页。这是代码：

    <?php
$file_string = file_get_contents('http://www.amazon.com/s/ref=lp_3737671_pg_1?rh=n%3A1055398%2Cn%3A%211063498%2Cn%3A3206324011%2Cn%3A3737671&page=1&ie=UTF8&qid=1361609819');
preg_match_all('/<span class="lrg bold">(.*)<\/span>/i', $file_string, $links);
for($i = 0; $i < count($links[1]); $i++) {
echo $links[1][$i] . '<br>';
}

?>

任何帮助表示感谢...

Answer 1

要将所有页面 HTML 作为一个变量，这可以解决问题

    <?php

    $html = '';

    $file_string = file_get_contents('http://www.amazon.com/s/ref=lp_3737671_pg_1?rh=n%3A1055398%2Cn%3A%211063498%2Cn%3A3206324011%2Cn%3A3737671&page=1&ie=UTF8&qid=1361609819');
    preg_match_all('/<span class="lrg bold">(.*)<\/span>/i', $file_string, $links);
    for($i = 0; $i < count($links[1]); $i++) {
        $html .= file_get_contents($links[1][$i]);
    }

    echo "all pages combined:\n".$html;

    ?>

但是，您的服务器很可能会超时、内存不足或出现其他问题。要抓取 HTML 内容，最好先创建一个 URL 列表，然后一次抓取一个。您可以通过一个通过 AJAX 调用刮板的 HTML 页面来执行此操作。