我正在尝试使用 Web 客户端抓取一个网站，我能够获取第一页上的数据并对其进行解析，但我不知道如何读取第二页上的数据，该网站正在调用一个 java 脚本来导航到第二页。谁能建议我如何从下一页获取数据？
提前致谢
问问题
242 次
2 回答
1
您将遇到的问题是，当您（一个人）可以阅读第一页中的 JavaScript 并看到它正在导航到另一个页面时，让计算机执行此操作会很困难。
如果您可以识别执行导航的代码块，那么您需要以允许您的程序提取 URL 的方式执行它。这又将非常特定于 JavaScript 的结构，并且需要一个人来识别它。
简而言之，我认为你已经死在水里了，尽管它很好地说明了为什么Unobtrusive JavaScript概念如此重要。
于 2013-05-23T12:24:11.057 回答
0
该框架将 HtmlUnit 与其支持无头 javascript 的浏览器集成，以完全支持在同一个 WebClient 会话中编写多个页面：https ://github.com/subes/invesdwin-webproxy
于 2017-06-09T19:10:57.287 回答