java - 如何在 Java 中筛选抓取 Ajax 站点？

Question

我希望屏幕抓取几个基于 Ajax 的网站并模拟刷新网页部分的点击，然后阅读更新的 HTML。有没有可以做到这一点的Java库？

Answer 1

使用HtmlUnit 非常棒！！它是一个无头浏览器，可以通过点击、鼠标位置和几乎所有你想要的东西来玩。

Answer 2

我认为这样做的唯一方法是嵌入浏览器，以便执行 Javascript 并在更新 DOM 时获取数据。 这个相关的堆栈溢出问题可能会有所帮助。

Answer 3

这些书应该对您有所帮助（尽管只有第一本是针对 Java 开发人员的）：

• 用 Java 编程蜘蛛、机器人和聚合器；
• 网络机器人、蜘蛛和屏幕抓取工具；
• 蜘蛛黑客;