我创建了一个简单的 java 脚本，它使用 Jsoup 来解析一页数据。然而，网站创建者已经更改了页面，以至于如果页面上有一定数量的数据，它会给您提供优化搜索的意见，或者，您可以单击一个链接，数据就会出现。我一直在努力寻找解决方案，网址没有改变，链接的 href 只是javacript:void(0);. 有什么方法可以让我只使用我的脚本来获取包含数据的 html 吗？
问问题
2480 次
2 回答
3
尝试使用像Selenium这样驱动 Web 浏览器的东西。这是我唯一用过的，从来不需要别的。我确信有不同的可能更适合您，您应该测试一些，或者不测试。一旦您使用 selenium（或您选择的任何 Web 驱动程序）获得 javascript 元素，将它们解析为 JSoup 元素。这样您就不必完全更改库，而只需添加一个。
此外，您还可以通过查看浏览器地址栏的变化来解决 javascript 问题。
于 2014-09-03T14:53:18.180 回答
1
使用 firefox 或 chrome 的开发者工具。当您单击链接时，可能会触发 ajax 调用。在网络选项卡上，您可以看到 javascript 实际请求的 url 以及结果的结构（可能是 json）。然后您可以直接访问该 url 以加载其余结果。
或者类似的东西^^
于 2013-07-03T11:41:25.817 回答