java - 如何更新标准分词器的令牌

Question

我在我的弹性搜索插件中使用标准标记器。我需要迭代标准标记器的每个标记，并用一些加密文本更新到 lucene 索引。有没有办法更新标准分词器的令牌？任何人都可以帮忙吗？

Answer 1

这是一个有趣的用例，但 tokenizer 恕我直言，它不是应该做的正确地方，基本上弹性搜索分析过程包括以下三个阶段。

1. 字符过滤器
2. 分词器
3. 令牌过滤器

如果您想更改一些字符，在将其发送到标记器之前，请在 char 过滤器中执行此操作或更改标记过滤器中的标记，正如您在这些阶段中看到的那样，您可以进行比标记器阶段更多的转换。