elasticsearch - 标准令牌过滤器在 Elasticsearch 中究竟做了什么？

Question

文档中没有示例，我只是想知道我给它的输入会有什么期望。

Answer 1

在 Elasticsearch 0.16 (Lucene 3.1) 之前，标准标记过滤器是“标准化由标准标记器提取的标记”。具体来说，它是在首字母缩略词中删除's单词和点的末尾。所以，当年Apple's C.E.O会变成Apple CEO通过标准过滤器之后。从 Elasticsearch 0.16 (Lucene 3.1) 开始，标准令牌过滤器什么都不做（至少目前是这样）。它只是将令牌传递给链中的下一个过滤器。

Answer 2

这是来自 Lucene 主干的 StandardFilter 源代码的摘录。它真的什么也没做。

public final boolean incrementToken() throws IOException {
    return input.incrementToken(); // TODO: add some niceties for the new grammar
}