recursion - 如何在特定 TLD 上递归地获取 wget？

Question

是否可以使用 wget 从特定 TLD 递归下载文件？

具体来说，我正在尝试下载马萨诸塞州法规的全文。法规的实际文本存储在跨多个域的多个文件中——所以我想从索引页面开始递归下载，但只遵循指向 .gov 和 .us 域的链接。

Answer 1

在跨越主机的 wget 文档的帮助下，我能够使用 -H 和 -D 标志来完成这项工作：

wget -r -l5 -H -D.us,.gov http://www.lawlib.state.ma.us/source/mass/cmr/index.html