ajax - 从 AJAX/Javascript 网页中抓取内容

Question

我需要在我需要的内容由 AJAX 生成的网页上进行一些屏幕抓取。在初始页面上有一个带有 4 个选项卡的表格。当您单击任何选项卡时，表格的内容会发生变化。我只需要第三个选项卡中的内容。我使用了谷歌浏览器“检查元素”工具来查看请求和发布数据是什么，当我从检查元素会生成 PHP curl 请求。但这仅适用于会话持续的 30 分钟。有谁知道我可以获得这些信息的方法？

Answer 1

我不会在这里重现代码，但我会指出答案。它在本书中：

http://www.amazon.com/Webbots-Spiders-Screen-Scrapers-Developing/dp/1593273975/ref=dp_ob_image_bk

必须为从事您所做的事情的人购买。

Answer 2

最后我使用 htmlunit 来获取我需要的内容。我还发现 HTMLUnit Scripter 对帮助生成所需的 Java 代码非常有用。