java - 带有 LookAhead 的 Lucene 标记器

Question

谁能指出我使用 LookAhead 实现 Lucene Tokenizer 的正确方向？

我正在使用雪球词干分析器，我希望能够获取城市名称的短语并防止它们被词干，因此“洛杉矶”将被设置为单个标记，而不是“洛杉矶”的两个标记和“天使”。

我还需要将与任何城市名称都不匹配的标记保留为一个单词。

有任何想法吗？

TIA

Answer 1

这是我写的东西的要点，它可以满足您的需求。