0

我正在使用 lucene 从 wiki 转储中查询并获取类别。所以，我得到了相关的文件，对于每一个文件，我都调用了下面的函数。

static List<String> getCategories(Document document) throws IOException
{
    List<String> categories = new ArrayList<String>();
    String text = document.get("text");
    WikipediaTokenizer tf = new WikipediaTokenizer(new StringReader(text));

    CharTermAttribute termAtt = tf.addAttribute(CharTermAttribute.class);
    TypeAttribute typeAtt = tf.addAttribute(TypeAttribute.class);

    while (tf.incrementToken())
    {
        String tokText = termAtt.toString();
        if (typeAtt.type().equals(WikipediaTokenizer.CATEGORY) == true)
        {
            categories.add(tokText);
        }
    }

    return categories;
}

但它会在 while 语句中引发以下错误。

Exception in thread "main" java.lang.NullPointerException
    at org.apache.lucene.analysis.wikipedia.WikipediaTokenizerImpl.zzRefill(WikipediaTokenizerImpl.java:574)
    at org.apache.lucene.analysis.wikipedia.WikipediaTokenizerImpl.getNextToken(WikipediaTokenizerImpl.java:781)
    at org.apache.lucene.analysis.wikipedia.WikipediaTokenizer.incrementToken(WikipediaTokenizer.java:200)
    at SearchIndex.getCategories(SearchIndex.java:82)
    at SearchIndex.main(SearchIndex.java:54)

我查看了 zzRefill() 函数，但我无法理解它。这是一个已知的错误还是什么？我不知道我做错了什么。lucene 家伙说整个 wikipediaTokenizer 部分处于测试阶段，可能会发生变化。我希望有人能帮助我。

4

1 回答 1

1

我通过在调用 while 循环之前添加 tf.reset() 解决了这个问题

于 2013-03-19T20:18:43.777 回答