我需要从 SSL 安全网站下载所有文本和图像。我已经使用 CURL 成功地完成了这一点,但是其中还有其他文本和图像可以通过单击链接填充,并且该链接调用 JQuery 的$.post
请求。
如何$.post
在 CURL 中通过 Jquery 获取内容?
您必须手动执行此操作,因为 cURL 不是浏览器,它不运行 JavaScript。它只能完全按照您的指示执行操作,在此处执行 GET,在此处执行 POST 等。
您必须自己检查每个站点的源代码,并在代码中添加特殊指令,这些指令将执行$.post()
在常规浏览器中运行时会与朋友一起完成的请求。
您可以解析网页,搜索 $.post、$.get 和 $.ajax 调用,提取 URL 和参数,并执行新的 curl 查询。但是通过这种方式,您将只有 http 响应,并且如果服务器返回由 JavaScript 解释的 json,您将不知道如何解释它。
因此,不要通过 curl 下载页面,而是尝试通过无头浏览器下载它,例如phantomjs,它可以执行 JS 代码并在应用所有 JavaScript 后保存结果(它可以拦截每个 http 调用,因此您可以将图像保存为它们已下载)