web-crawler - 抓取中的显式特殊字符

Answer 1

一个简单的方法是写一个 ParseFilter 像

        ParseData pd = parse.get(URL);
        String text = pd.getText();
        // remove chars
        pd.setText(text);

这将在由 JSoup 或 Tika 解析的文档上调用。查看存储库中的解析过滤器以获取示例。