java - 如何用java获取网页的源代码？（如何处理延迟加载？）

Question

我想获取整个（整个）网页的源代码，但是网站的某些内容一开始没有加载。（似乎这与Ajax有关）我怎样才能获得这些没有用java一次加载的内容？

我尝试使用java's url.openStrem. 但这没有用。loading...加载后我只得到内容“ ”而不是真正的内容。

非常感谢你。

Answer 1

尝试对此类事情使用 html 解析器。Jericho Htmlparser在这里会很有帮助。

Answer 2

您需要远程控制现有的浏览器（使用 Java 并不容易，因为大多数使用其他语言/组件系统/接口）或使用可以执行 Javascript 的无头浏览器。HTMLUnit属于后一类。