java - 使用 HtmlUnit 抓取 Google Group 页面

Question

public static void main(String[] args) throws IOException, InterruptedException
    {
        WebClient webClient = new WebClient();

    WebRequest request = new WebRequest(new URL("https://groups.google.com/forum/?fromgroups#!forum/mobile-social-networking-nepal"));
    HtmlPage page = webClient.getPage(request);
    webClient.waitForBackgroundJavaScript(1000000);
    System.out.println(page.asXml());
    webClient.closeAllWindows();


    }

我已经编写了上面的代码，用于抓取上述 URL 给出的 google 组页面，没有任何运气。我得到的是空的 div 和 span 元素。我已经尝试过使用其他 URL 并且工作正常，但使用 google 组页面它似乎不起作用。而且，甚至需要很长时间才能获得不受欢迎的输出。需要帮助。

Answer 1

如下实例化webclient，它对我有用：

WebClient webClient = new WebClient(BrowserVersion.FIREFOX_3_6);