我需要一种方法来每隔一段时间（5 分钟）检查我的根目录和其中包含的所有网页是否有任何错误页面。
我有一个程序可以检查特定的服务器或 IP 地址以查看它们是否已启动或已关闭，如果它们已关闭，它会提醒我，这非常有用。我还可以通过发送 GET 请求并检查响应来检查特定网页是打开还是关闭，但我需要更自动和更彻底的东西。
是否有一个程序可以爬取给定根目录中的所有 URL 并检查每个页面的状态，然后报告任何已关闭的页面并且可以在给定的时间间隔内执行此操作（比如每 5 分钟、10 分钟...）？
谢谢！
TS。