c# - 如何加载动态生成的网页？

Question

我正在尝试加载网页http://www.artstation.com/artist/nicotine，所以我可以清理页面，不幸的是该页面似乎是通过代码生成的，所以我正在寻找的标签不可用.

使用以下内容加载它不起作用，因为它只加载源 javascript，而不是它生成的内容：

HtmlWeb htmlWeb = new HtmlWeb();
imagepage = htmlWeb.Load(http://www.artstation.com/artist/nicotine);

如何将页面加载到浏览器中显示的页面，以便我可以清理它的标签？

Answer 1

您不能为此使用 HtmlAgilityPack。当 HAP 要求服务器向您提供页面文件时，该文件的内容尚未被 Web 浏览器解析/执行，因此其上的 JavaScript 尚未执行任何操作。

有一个解决方法。您可以使用selenium或phantomJs来获取动态生成的标签的内容。这些工具具有浏览器堆栈，它将执行您的 JavaScript。您可以找到许多其他类似的工具和大量示例。