java - 模仿浏览器行为

Question

我正在获取网页的 htmldump。但我没有得到运行时由 Javascript 加载的内容。

模仿浏览器行为并提取 htmldump 的最佳方法是什么，这正是我们在浏览器上看到的。

我们正在使用 Java，人们之前使用过 selenium，但它似乎存在速度问题。

Answer 1

如果您使用的是 .Net，则可以使用WebBrowser控件。

根据 MSDN：

使用户能够在表单内导航网页。

您可以通过编程方式控制它。

Answer 2

你可以试试HtmlUnit。它是一个支持 javascript 的无头浏览器，所以它应该能够做你想做的事。

Answer 3

如果您乐于使用 firefox 或 chrome，Selenium 会很快。还有一种方法可以无头运行 Selenium（不是我做过），它也可以提供足够快速的解决方案。否则，有一些帖子和博客（例如）可以解决提高 Seleniums 性能速度的问题。另一种选择是查看 WatiN，尽管这也在 .Net 中，就像 WebBrowser 的 seth flowers 建议一样。