html-parsing - 如何解析包含 javascript 的渲染网页

Question

如何从呈现的网页中提取数据？其中java脚本会随时间更新数据。是否可以编写可以从网页 java 脚本访问变量的用户脚本？请提出可能的方法来实现这一目标。

Answer 1

根据图灵的停止问题定理，你不能。

这就是我们说 JavaScript 是图灵完备语言时的意思。唯一的方法是执行 JavaScript 并让它呈现页面。

Answer 2

这取决于您的编程语言。

在 C# 中，您可以使用webbrowser 控件，然后使用 Webbrowser.Document 属性获取HTMLDocument对象以获取当前标记。要在文档中调用 javascript 函数，请使用 Browser 控件的ObjectForScripting属性。