2

我最近读到通过 html 单元我们可以模拟页面。

我对我的论文有类似的要求。我必须将特定链接的所有评论提取到我的数据库中。我目前正在研究雅虎新闻。

假设我正在使用“http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-head-dead-184541137.html”链接。该链接目前有 125 条评论。当我打开页面查看更多评论时显示 10 条我必须按“更多”链接，然后 ajax 请求进入服务器并显示 10 条更多评论。现在我正在使用以下代码来获取所有评论。 

       String google = "http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-  head-dead-184541137.html";


        WebClient webClient = new WebClient();
         HtmlPage page1 = webClient.getPage(google);
         HtmlAnchor advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");


        while(true){
            if(advancedSearchAn == null){
                String text = page1.asText();
           System.out.println(text);
                break;
            }
           page1 = advancedSearchAn.click();
           advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");

任何人都可以建议我在这段代码中做错了什么，因为它只是给了我前 10 条评论的相同页面。

4

0 回答 0