url - 自动浏览 url 列表，然后将它们保存为 html 网页

Question

我想知道是否有任何在线或桌面应用程序或工具可以自动浏览所有 url 的列表并将每个页面保存为目录中的 html 文档。如果有人知道，请帮助我。

提前致谢

Answer 1

有用于 Java的HTMLUnit 。

它是一个无头浏览器，可以很好地处理带有 Javascript 和 Ajax 的页面。它还支持HTTPS。