java - 如何使用 JSOUP 从网站中提取正文并排除存档和指向其他网页的链接

Question

我只知道如何提取正文并排除评论，但无法排除存档和指向其他网页的链接。

这是我的代码：

package CrawlerMain;

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Node;

public class MainFour {

    public static void main(String[] args) throws IOException {
        Document doc = Jsoup.connect("http://www.papagomo.com").get();
        //get text only
        removeComments(doc); 
        String text = doc.body().text();
        System.out.println(text);
    }

    private static void removeComments(Node node) {
        int i = 0;
        while (i < node.childNodes().size()) {
            Node child = node.childNode(i);
            if (child.nodeName().equals("#comment"))
                child.remove();
            else {
                removeComments(child);
                i++;
            }
        } //To change body of generated methods, choose Tools | Templates.
    }

}

Answer 1

这是一个示例，但还没有完成。您必须添加一些过滤以删除您不想要的所有内容：

Document doc = Jsoup.connect("http://www.papagomo.com").get();


for( Element element : doc.select("div") ) // Select only 'div' tags
{
    final String ownText = element.ownText(); // Own text of this element

    if( ownText.isEmpty() )
    {
        continue; // Skip empty tags
    }
    else
    {
        System.out.println(ownText); // Output to see the result
    }
}