url - 检查 HTTP URL 文件以获取 HTTP 响应代码

Question

我需要一种方法来检查包含链接的文件，以查看其中是否有任何损坏。该文件包含指向数千个不同 URL 的链接。除了文件中的 URL，我不需要再爬取或蜘蛛 - 我们只需要每个 URL 的 HTTP 请求响应。

Answer 1

看看Xenu。

假设它是网页或链接的文本文件，它完全符合您的需要。您可以控制它跟随链接的深度。