我试图爬取一些网站内容，使用jsoup和 java 组合。将相关详细信息保存到我的数据库并每天进行相同的活动。
但这是交易，当我在浏览器中打开网站时，我得到呈现的 html（所有元素标签都在那里）。我测试它的javascript部分，它工作得很好（我应该用来提取正确数据的那个）。
但是当我使用 jsoup（来自 Java 类）进行解析/获取时，只会下载初始网站进行解析。这意味着网站有一些动态部分，我想获取这些数据，但由于它们是在获取后呈现的，因此在网站上异步呈现，我无法使用 jsoup 捕获它。
有人知道解决这个问题的方法吗？我是否使用了正确的工具集？更有经验的人，我出你的意见。