2

我目前正在尝试找出一种编写脚本（最好是 PHP）的方法，该脚本将爬过站点并创建站点地图。除了传统的标准页面列表之外，我还希望脚本能够跟踪哪些页面链接到其他页面。

示例页面

A
B
C
D

我希望输出给我如下内容。

页面名称： A

链接到页面 A 的页面：

  • 乙
  • C
  • D

页面名称： B

链接到页面 B 的页面：

  • 一个
  • C

ETC...

我遇到了多个标准站点地图脚本，但没有什么能真正完成我正在寻找的东西。

编辑 似乎我没有提供足够的信息。对不起，我在那里不够清楚。这是我目前拥有的代码。我使用 simple_html_dom.php 为我处理解析和搜索 html 的任务。

<?php

include("simple_html_dom.php");

url = 'page_url';

$html = new simple_html_dom(); 
$html->load_file($url);

$linkmap = array();

foreach($html->find('a') as $link):
    if(contains("cms/education",$link)):
        if(!in_array($link, $linkmap)):
            $linkmap[$link->href] = array();
        endif;
    endif;
endforeach;

?>

注意：我的小 foreach 循环只是根据 url 中的特定子字符串进行过滤。

所以，我有必要的第一级页面。我陷入困境的是创建一个不会无限期运行的循环，同时跟踪您已经访问过的页面。

4

1 回答 1

0

基本上，您需要两个数组来控制这里的流程。第一个将跟踪您需要查看的页面，第二个将跟踪您已经查看过的页面。然后，您只需在每个页面上运行现有代码，直到没有剩余代码：

<?php

include("simple_html_dom.php");

$urlsToCheck = array();
$urlsToCheck[] = 'page_url';
$urlsChecked = array();

while(count($urlsToCheck) > 0)
{
   $url = array_pop($urlsToCheck);
   if (!in_array($url, $urlsChecked)
   {
      $urlsChecked[] = $url;

      $html = new simple_html_dom(); 
      $html->load_file($url);

      $linkmap = array();

      foreach($html->find('a') as $link):
          if(contains("cms/education",$link)):
              if((!in_array($link, $urlsToCheck)) && (!in_array($link,$urlsChecked)))
                 $urlsToCheck[] = $link;

              if(!in_array($link, $linkmap)):
                  $linkmap[$link->href] = array();
              endif;
          endif;
      endforeach;
   }
}

?>
于 2012-05-10T21:03:21.513 回答