0

我的要求是动态地从网页中提取所有链接（使用“a href”）。 我正在使用JSP。更具体地说，我正在 JSP 中构建一个元搜索引擎。因此，当用户输入查询项时，我必须从 yahoo、ask、google、momma 等的搜索结果页面中提取链接。为了获取字符串格式的页面，我现在使用的代码是。

> > try  
{  
>  String sUrl_yahoo = "http://www.mamma.com/result.php?type=web&q=hai+bird&j_q=&l=";
> 
>       String nextLine;  
>       String webPage;  
>       StringBuffer wPage;  
>       String sSql;  
>       java.net.URL siteURL = new java.net.URL (sUrl_yahoo);  
>       java.net.URLConnection siteConn = siteURL.openConnection();  
>       java.io.BufferedReader in = new java.io.BufferedReader ( new java.io.InputStreamReader(siteConn.getInputStream() ) );  
>         wPage = new StringBuffer(30*1024);  
>         while ( ( nextLine = in.readLine() ) != null ) {
> wPage.append(nextLine); }  
>         in.close();  
>         webPage = wPage.toString();       out.println(webPage);       }  
> catch(Exception e)   {  
> out.println("Error" + e);   }

现在，我的要求是：您能建议一些从 String webPage 中提取链接的方法吗？还是有其他方法可以提取这些链接？我宁愿在不使用任何外部软件包的情况下这样做。

4

1 回答 1

1

一种快速的解决方案是使用正则表达式匹配器对象来提取 URL：

Pattern p = Pattern.compile("<a +href=\"([a-zA-z0-9\\:\\-\\/\\.]+)\">");
Matcher m = p.matcher(webPage);

ArrayList<String> foundUrls = new ArrayList<String>();

while(m.find()) {
  foundUrls.add(m.group(1));
}

您可能需要稍微尝试一下 URL 模式以使其更加密封，但这是一个快速而肮脏的解决方案，无需使用外部库。

于 2011-03-07T19:00:07.440 回答