0

我想要来自这个网站的所有用户评论：http: //www.consumercomplaints.in/?search=chevrolet

问题是评论只是部分显示，要查看完整的评论，我必须单击它上面的标题，并且必须对所有评论重复此过程。

另一个问题是评论页面很多。

因此，我想将所有完整评论存储在上述指定站点的 excel 表中。这可能吗 ？我正在考虑将 crawler4j 和 jericho 与 Eclipse 一起使用。

我的 visitPage 方法代码：@Override public void visit(Page page) {
String url = page.getWebURL().getURL(); System.out.println("网址：" + url);

           if (page.getParseData() instanceof HtmlParseData) {
                   HtmlParseData htmlParseData = (HtmlParseData) page.getParseData();

                   String html = htmlParseData.getHtml();

  //               Set<WebURL> links = htmlParseData.getOutgoingUrls();
  //               String text = htmlParseData.getText();

                   try
                   {
                       String CrawlerOutputPath = "/DA Project/HTML Source/";
                       File outputfile = new File(CrawlerOutputPath);

                       //If file doesnt exists, then create it
                        if(!outputfile.exists()){
                            outputfile.createNewFile();
                        }

                       FileWriter fw = new FileWriter(outputfile,true);  //true = append file
                       BufferedWriter bufferWritter = new BufferedWriter(fw);
                       bufferWritter.write(html);
                       bufferWritter.close();
                       fw.write(html);
                       fw.close();

                   }catch(IOException e)
                   {
                       System.out.println("IOException : " + e.getMessage() );
                       e.printStackTrace();
                   }

                   System.out.println("Html length: " + html.length());
           }
   }

提前致谢。任何帮助，将不胜感激。

4

1 回答 1

0

是的，有可能。

  • 开始在您的搜索网站上爬行 ( http://www.consumercomplaints.in/?search=chevrolet )
  • 使用 crawler4j 的 visitPage 方法只关注评论和正在进行的页面。
  • 从 crawler4j 中获取 html 内容并将其推到 jericho
  • 过滤出您要存储的内容并将其写入某种 .csv 或 .xls 文件（我更喜欢 .csv）

希望这可以帮助你

于 2015-01-13T19:02:51.880 回答