list - 从整个网站获取链接列表（实际 URL）

Question

请多多包涵，我不是技术人员！

我有一个网站（1000 页），需要获取每个网页上出现的链接列表。例如，在一个页面（例如 www.domain.com/reports）上可能有一个链接“单击此处查看报告”，该链接链接到 URL www.domain.com/document1 和一个链接“单击查看链接到网址 www.domain.com/document2 的其他报告。所以我需要一个列表显示：

网页： URL 链接： www.domain.com/reports www.domain.com/document1, www.domain.com/document2

每个页面上有 1000 个网页和大量链接，因此手动工作需要很长时间。

有没有办法获得这样的列表，例如，使用谷歌？

感谢大家的帮助。

克雷格

Answer 1

Xenu 的 Link Sleuth是我用来执行此操作的免费程序。你给它一个起始 url，然后它会递归下载所有链接的页面。输出是一份报告，告诉您网站上的所有链接和图像。