我正在寻找一种方法来提供 URL,在 JavaScript 运行后获取网页的源代码。例如:
我有一个带有 . 在加载页面时,一些 JavaScript 会填充 div。通过浏览器查看页面的源代码不会给出 div 中的信息。
据我所知,为了让浏览器渲染页面,div必须已经填充了(X|D)HTML,这意味着渲染后页面的源仍然只是嵌套标记,所以理论上应该是页面源的“最终”版本。
我考虑过使用像 WebKit 或 Gecko 这样的渲染引擎,并以某种方式调整它们来做到这一点,但是这是一项相当大的任务,我真的不想复制已经完成的事情。有谁知道执行此任务的方法。
问候。
更新:我的目标是使用 Selenium(如对已接受答案的评论中所述)自动执行几页。我的项目是一个网络蜘蛛,它的设计需要针对许多页面,在这些页面中,我要访问的内容在 JavaScript 填充所有内容之前不可用。