0

这周我开始做作业，在这个论坛上阅读我找到了我的问题的“解决方案”。我的程序解析网站的 HTML 页面并获取一些数据。好吧，这并不难。我的问题是如何在网站上获取数据。使用 HtmlUnit 我知道这是可能的，并阅读了他们的教程和网络上的一些代码，我编写了我的简单测试：

import org.junit.Test;

import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlForm;
import com.gargoylesoftware.htmlunit.html.HtmlPage;
import com.gargoylesoftware.htmlunit.html.HtmlSubmitInput;

public class MyTest {

  @Test
  public void myClient() throws Exception {

    final WebClient webClient = new WebClient();

    HtmlPage page = webClient.getPage("http://www.atb.bergamo.it/ITA/Default.aspx?SEZ=2&PAG=38&MOD=LINTRV");

    final HtmlForm form = page.getFormByName("form1");

    final HtmlSubmitInput filtra = form.getInputByName("ctl13$btnFilter");

    page = filtra.click();

    final String pageAsXml = page.asXml();

    System.out.println(pageAsXml);

    webClient.closeAllWindows();
  }
}

此代码获取远程页面，单击页面表单中的提交按钮，然后在控制台上打印提交结果。

问题是当我使用点击事件时，因为网页中没有任何变化。事实上，它必须出现一个新表，其中包含我想要收集的一些数据，但事实并非如此。

你能告诉我我哪里错了吗？

你知道另一种方法来做我想做的事吗？

4

1 回答 1

0

似乎这段代码在加载初始页面（特别是执行 JavaScript）时引发了异常。根据我的经验，这并不少见，可以归因于 HtmlUnit 的 JavaScript 引擎（Rhino）。

我建议改用 Selenium WebDriver。

此代码应获取页面的来源：

package javaapplication1;

import java.util.List;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.support.ui.ExpectedCondition;
import org.openqa.selenium.support.ui.WebDriverWait;

public class Selenium  {
    public static void main(String[] args) throws InterruptedException {
        WebDriver driver = new FirefoxDriver();

        driver.get("http://www.atb.bergamo.it/ITA/Default.aspx?SEZ=2&PAG=38&MOD=LINTRV");
        WebElement filtra = driver.findElement(By.name("ctl13$btnFilter"));
        filtra.click();
        //make sure to wait till the results div is loaded
        //waits 10 seconds or then throws an exception
        (new WebDriverWait(driver, 10)).until(new ExpectedCondition<Boolean>() {
            public Boolean apply(WebDriver d) {
                List<WebElement> divTags = d.findElements(By.tagName("div"));
                for(WebElement tag: divTags){
                    if(tag.getAttribute("id").equalsIgnoreCase("ctl13_divRisultati")){
                        return true;
                    }
                }
                return false;
            }
        });
        String pageSource = driver.getPageSource();
        System.out.println(pageSource);
        driver.quit();
    }
}
于 2013-03-04T15:30:58.090 回答