1

我有一个程序，我需要它做的就是从文本文件中提取 URL 并将它们保存到另一个文本文件中。代码调用 ExtractHTML2.getURL2(url,input); 这只是为给定链接提取 HTML 代码（可以正常工作且无需在此处包含其代码）。

编辑：代码解析页数，在每个页面上，它将其 html 代码保存在文本文件中，然后解析此文本文件，以提取 10 个链接。

现在，下面的代码假设解析提取的 HTML 代码并提取 URL。这对我不起作用。它不提取任何东西。

代码编辑：

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import java.io.*;


public class ExtractLinks2 {

    public static void getLinks2(String url, int pages) throws IOException {
    {   
        Document doc;
        Element link; 
        String elementLink=null; 
        int linkId=1; //represent the Id of the href tag inside the HTML code

        //The file that contains the extracted HTML code for the web page. 
        File input = new File
         ("extracted.txt");

        //To write the extracted links
        FileWriter fstream = new FileWriter
         ("links.txt");

        BufferedWriter out = new BufferedWriter(fstream);

        // Loop to traverse the pages
           for (int z=1; z<=pages; z++) 
           {
               /*get the HTML code for that page and save 
                 it in input (extracted.txt)*/
               ExtractHTML2.getURL2(url, input);

               //Using parse function from JSoup library
               doc = Jsoup.parse(input, "UTF-8");

               //Loop for 10 times to extract 10 links per page
               for(int e=1; e<=10; e++) 
               {
                 link = doc.getElementById("link-"+linkId); //the href tag Id
                 System.out.println("This is link no."+linkId);
                 elementLink=link.absUrl("href"); 
                  //write the extracted link to text file
                        out.write(elementLink);
                 out.write(","); //add a comma
                 linkId++; 
                } //end for loop

               linkId=1; //reset the linkId
            }//end for loop

        out.close();            
        } //end the getLinks function
    } //end IOExceptions


    } //end ExtractDNs class

正如我所说，我的程序不会提取 URL。我对 Jsoup.parse 的语法有疑问。参考： http: //jsoup.org/cookbook/input/load-document-from-file 有可选的第三个参数，我忽略了它，因为我认为在我的情况下不需要它。我需要从文本文件而不是 html 页面中提取。

如果我输入以下内容，我的程序能够提取 href 标记文本：eURL =elem.text(); 但我不需要文本，我需要 URL 本身，例如：如果我有以下内容：

<a id="link-1" class="yschttl spt" href="/r/_ylt=A7x9QXi_UOlPrmgAYKpLBQx.;
_ylu=X3oDMTBzcG12Mm9lBHNlYwNzcgRwb3MDMTEEY29sbwNpcmQEdnRpZAM-/SIG=1329l4otf/
EXP=1340719423/**http%3a//www.which.co.uk/technology/computing/guides/how-to-buy
-the-best-laptop/" data-bk="5040.1">How to <b>buy</b> the best <b>laptop</b> 
- <b>Laptop</b> <wbr />reviews - Computing ...</a>

如果有办法，我只需要“www.which.co.uk”甚至更好的“which.co.uk”。

为什么上面的程序没有提取 URL 以及如何纠正这个问题？

4

1 回答 1

0

问题出在这一行：

link = doc.getElementById("link-"+linkId);

它应该是：

link = doc.getElementById("link-" + Integer.toString(linkId));

因为linkId是整数，并getElementById以字符串为参数。所以，我必须先将 Id 转换为 int，所以输入getElementById的形式变为：link-1、link-2 等。

于 2012-07-05T02:40:27.880 回答