c# - C#下载HTTP目录下的所有文件

Question

如何下载 HTTP 服务器上一个目录和所有子目录中的所有文件？

Answer 1

通过使用像 wget 这样的命令行工具，而不是重新发明轮子。

Answer 2

如果在服务器上启用了目录浏览，那么您可以爬取目录列表，即使用 HttpWebRequest 获取列表页面，解析响应以找到文件链接，下载每个文件（也使用 HttpWebRequest），导航到每个子文件夹，冲洗并重复。

如果未启用目录浏览，则您无法真正下载所有子目录中的所有文件，因为您不知道它们存在。

但是，您仍然可以使用 HttpWebRequest 来抓取暴露的网页并下载任何感兴趣的链接文件。