php - 如何在 php 中使用 wget 或 curl 获取网页上所有路径/文件的列表？

Question

我wget -p $url 用来获取网页上的所有文件，以便获取列表。但是对于某些 URL，事实证明 wget 只能获取 index.html。有没有办法通过 wget 或 cURL 获取特定 URL 上的文件列表？我需要检查请求标头和响应标头吗？

Answer 1

有些服务器不允许您浏览目录列表，如果该目录中有默认文档，它将接管并且您也无法浏览。

您需要实现一个蜘蛛，它解析所有路径、文件和链接，并创建在 HTML 中声明和使用的文件的目录结构。然后，您可以下载这些文件。