php - 如何使用网络爬虫获取动态生成的 JavaScript 数据

Question

大多数网页的数据可以通过简单地下载 HTML 然后解析出所需的内容来抓取。但是，某些网页在页面加载后会使用 JavaScript 动态加载其内容，因此在原始 HTML 中找不到所需的数据。

请帮助我如何使用网络爬虫获取动态生成的 JavaScript 数据。

Answer 1

您可以使用 Firefox 的 Web Developer Add-on。页面加载完成后选择查看源代码 -> 查看生成的源代码，您将在新窗口中以 HTML 格式获取联系人。然后，您可以继续使用当前正在使用的任何解析器。