php - 如何获取网页上所有文件和 url 的列表

Question

我正在尝试获取网页上所有文件和 url 的列表。当您输入一些 url 时，它类似于http://tools.pingdom.com上给出的列表。现在我正在尝试使用 cURL 或 wget 在 php 中执行此操作。有人对我如何获得这种文件/路径列表有建议吗？

Answer 1

将文档保存在字符串中后，使用正则表达式查找所有 URL。

使用正则表达式匹配 URL

在 PHP 中使用正则表达式

Answer 2

$url="http://wwww.xyz.com";
$data=file_get_contents($url);
$data = strip_tags($data,"<a>");
$d = preg_split("/<\/a>/",$data);
foreach ( $d as $k=>$string ){
    if( strpos($string, "<a href=") !== FALSE ){
        $string = preg_replace("/.*<a\s+href=\"/sm","",$u);
        $stringu = preg_replace("/\".*/","",$string);
        $url = $string
    }
}

编辑：

或者您可以使用此功能：

function getAllUrls($string)
{
    $regex = '/https?\:\/\/[^\" ]+/i';
    preg_match_all($regex, $string, $matches);
    return ($matches[0]);
}

$url_array = getAllUrls($string);
print_r($url_array);