0

我正在使用德语分析器来标记一些内容。我知道它基本上是“小写”，“german_stop”，“german_keywords”，“german_normalization”，“german_stemmer”的宏过滤器。

我的问题与规范化过滤器有关。这是Elasticsearch 文档和过滤器的Lucene 实现。问题在于 ae ue 和 oe 被视为德语字母 ä,ö 和 ü，因此转换为 a,o,u。

第二个转变很好，但第一个导致的问题多于它解决的问题。德语文本中通常没有真正代表ä、ü、ö的ae、ue、oe。大多数情况下，它们实际出现在外来词中，源自拉丁语或英语，例如“Aearodynamik”（空气动力学）。然后过滤器将“Ae”解释为“Ä”，然后将其转换为“A”。这会产生“arodynamik”作为令牌。通常这不是问题，因为搜索词也使用该过滤器进行了标准化。但是，如果与通配符搜索结合使用，这确实会成为一个问题：

想象一个像“FooEdit”这样的词，它将被标记为“foodit”。搜索“edit OR *edit*”（这是我在用户搜索“edit”时的正常搜索）不会产生结果，因为“edit”的“e”丢失了。因为我的内容有很多这样的词，而且人们正在搜索部分词，所以它不像看起来那么极端。

所以我的问题是有没有办法摆脱'ae - > a'转换？我的理解是，这是German2 雪球算法的一部分，因此可能无法更改。这是否意味着我必须摆脱整个规范化步骤，或者我可以提供我自己版本的雪球算法，我只是去掉我不喜欢的部分（没有找到任何关于如何使用自定义的文档用于标准化的雪球算法）？

干杯

汤姆

4

2 回答 2

0

这种转换由 处理GermanNormalizationFilter，而不是词干分析器。真正理解一门课程并不难（与许多词干分析器不同），如果我理解正确，看起来单行更改会让你想要你想要的：

public final class CustomGermanNormalizationFilter extends TokenFilter {
  // FSM with 3 states:
  private static final int N = 0; /* ordinary state */
  private static final int V = 1; /* stops 'u' from entering umlaut state */
  private static final int U = 2; /* umlaut state, allows e-deletion */

  private final CharTermAttribute termAtt = addAttribute(CharTermAttribute.class);

  public CustomGermanNormalizationFilter(TokenStream input) {
    super(input);
  }

  @Override
  public boolean incrementToken() throws IOException {
    if (input.incrementToken()) {
      int state = N;
      char buffer[] = termAtt.buffer();
      int length = termAtt.length();
      for (int i = 0; i < length; i++) {
        final char c = buffer[i];
        switch(c) {
//Removing this case should prevent e-deletion for "ae"
//        case 'a':
          case 'o':
            state = U;
            break;
          case 'u':
            state = (state == N) ? U : V;
            break;
          case 'e':
            if (state == U)
              length = StemmerUtil.delete(buffer, i--, length);
            state = V;
            break;
          case 'i':
          case 'q':
          case 'y':
            state = V;
            break;
          case 'ä':
            buffer[i] = 'a';
            state = V;
            break;
          case 'ö':
            buffer[i] = 'o';
            state = V;
            break;
          case 'ü': 
            buffer[i] = 'u';
            state = V;
            break;
          case 'ß':
            buffer[i++] = 's';
            buffer = termAtt.resizeBuffer(1+length);
            if (i < length)
              System.arraycopy(buffer, i, buffer, i+1, (length-i));
            buffer[i] = 's';
            length++;
            state = N;
            break;
          default:
            state = N;
        }
      }
      termAtt.setLength(length);
      return true;
    } else {
      return false;
    }
  }
}

使用它代替german_normalization应该可以解决问题。

于 2016-07-07T20:41:09.297 回答
0

正如您所说，德国分析仪是一个结合您列出的步骤的管道。（文档）

理论上，您可以像上面一样指定自己的分析器，然后用另一个过滤器替换 German_normalization 过滤器。例如Pattern Replace Token Filter。我从未使用过它，但我猜它的语法等于 Char Replace Token Filter ( link )。

于 2016-07-07T15:43:17.430 回答