java - 爬取ajax加载的内容

Question

现在很多网站都包含一些通过ajax加载的内容（例如，一些视频网站中的评论）。通常我们无法爬取这些数据，得到的只是一些js源代码。那么问题来了：在获得 html 响应并到达我们想要的最终页面后，我们可以通过哪些方式执行 javascript 代码？

我知道 HtmlUnit 具有执行后台 js 的能力，但是存在一些错误和错误。还有其他工具可以帮助我吗？

有人告诉我，我可以爬取ajax请求的url，分析它的参数，然后再次发送请求，从而获取数据。如果事情不能按照我上面提到的方式解决，谁能告诉我如何提取 ajax url 并以正确的格式发送请求？

顺便说一句，如果语言是java，那将是最好的

Answer 1

是的，Netwoof 可以轻松爬取 Ajax。它的 API 和机器人构建器让您无需一行代码即可完成。

Answer 2

这就是 HTTP 的伟大之处，您甚至不需要 java。我用于调试 AJAX 的 goto 工具是 chrome 扩展Postman。我首先查看 chrome 调试器中的请求并识别显着位（url 或表单编码参数等）

然后它可以像使用 Postman 在服务器上打开一个选项卡并启动请求一样简单。只要它们都在同一个浏览器上下文中，您的所有 cookie（用于身份验证等）也将一起发送。