java - 使用java从网页中提取HTML内容

Question

我正在尝试使用 JAVA 提取网页的 HTML 内容。但问题是我试图加载的页面，如果用户向下滚动，它会继续扩展。所以我的代码只能提取页面第一次加载的任何内容。我如何提取通常在用户向下滚动时生成的 HTML 代码的剩余部分。

Answer 1

打开 firebug 或 chrome 开发者工具。查看网络选项卡。当您向下滚动时，将进行 ajax 调用。请注意此网址和参数。您必须手动调用适当的 url（ajax url）并解析可能是也可能不是 html 的响应。