java - HTMLUnit：执行速度超级慢？

Question

我一直在使用 HTMLUnit 。它非常适合我的要求。但它似乎非常缓慢。例如：我使用 HTMLUnit 自动化了以下场景

Goto Google page
Enter some text
Click on the search button
Get the title of the results page
Click on the first result.

代码 ：

long t1=System.currentTimeMillis();
Logger logger=Logger.getLogger("");
logger.setLevel(Level.OFF);
WebClient webClient=createWebClient();
WebRequest webReq=new WebRequest(new URL("http://google.lk"));

HtmlPage googleMainPage=webClient.getPage(webReq);
HtmlTextInput searchTextField=(HtmlTextInput) googleMainPage.getByXPath("//input[@name='q']").get(0);
HtmlButton searchButton=(HtmlButton) googleMainPage.getByXPath("//button[@name='btnK']").get(0);

searchTextField.type("Sri Lanka");
System.out.println("Text typed!");
HtmlPage googleResultsPage= searchButton.click();
System.out.println("Search button clicked!");

System.out.println("Title : " + googleResultsPage.getTitleText());

HtmlAnchor firstResultLink=(HtmlAnchor) googleResultsPage.getByXPath("//a[@class='l']").get(0);
HtmlPage firstResultPage=firstResultLink.click();
System.out.println("First result clicked!");

System.out.println("Title : " + firstResultPage.getTitleText());
//System.out.println(firstResultPage.asText());
long t2=System.currentTimeMillis();
long diff=t2-t1;
System.out.println("Time elapsed : "  + milliSecondsToHrsMinutesAndSeconds(diff));

webClient.closeAllWindows();

它运行良好 100%。但这需要3分41秒

我猜执行缓慢的原因是验证页面上的每个元素。

我的问题是如何减少 HTMLUnit 的执行时间？有什么方法可以禁用网页上的验证。

提前致谢！

Answer 1

对于当前的 htmlUnit 2.13，设置选项与 maxmax 提供的略有不同：

final WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setCssEnabled(false);//if you don't need css
webClient.getOptions().setJavaScriptEnabled(false);//if you don't need js
HtmlPage page = webClient.getPage("http://XXX.xxx.xx");
...

在我自己的测试中，这比默认选项快 8 倍。（请注意，这可能取决于网页）

Answer 2

• 请务必使用最新的 htmlunit 版本 (2.9)。我从以前的版本中获得了性能提升。

我会在 20 秒或 40 秒内完成您的示例，具体取决于我设置的选项。由于我看不到 webClient 初始化，我想这可能是问题所在。

这是我对 20 多岁治疗的初始化：

WebClient client = new WebClient(BrowserVersion.FIREFOX_3_6);
    client.setTimeout(60000);
    client.setRedirectEnabled(true);
    client.setJavaScriptEnabled(true);
    client.setThrowExceptionOnFailingStatusCode(false);
    client.setThrowExceptionOnScriptError(false);
    client.setCssEnabled(false);
    client.setUseInsecureSSL(true);

Answer 3

我还建议为 javascript 设置时间限制：

   client.setJavaScriptTimeout(30000); //e.g. 30s