java - HibernateSearch - 修改 StandardTokenizerFactory 以连接所有单词

Question

我在我的 Hibernate 课程中使用StandardTokenizerFactoryas my @TokenizerDef。我想保留对StandardTokenizerFactory单词进行标记的方式，但添加另一个规则来通过连接（特别是删除所有空格）字段中的所有单词来创建标记。

实现我想要的最简单的方法或任何替代方法是什么？

Answer 1

我认为您需要的是过滤器链中的另一个令牌过滤器（工厂）。你看过 ShingleFilterFactory 吗？它做了非常相似的事情，并且可以配置标记分隔符。不确定它是否也可以是空字符串。如果不出意外，您可以基于 ShingleFilterFactory 编写自己的 ConcatenatingFilterFactory。