r - RTextTools 中的德语词干

Question

我正在尝试使用 RTextTools 附带的德语词干分析器，但我得到的结果非常不符合标准。

说，我有以下向量：

v <- c("groß", "größer", "am", "größten", "ähnlicher")

使用

library(RTextTools)
wordStem(v, "german")

我明白了

[1] "groß"    "größer"  "am"      "größten" "ähnlich"

我错过了什么？？

Answer 1

Snowball 中的算法

/*
    Extra rule for -nisse ending added 11 Dec 2009
*/

routines (
           prelude postlude
           mark_regions
           R1 R2
           standard_suffix
)

externals ( stem )

integers ( p1 p2 x )

groupings ( v s_ending st_ending )

stringescapes {}

/* special characters (in ISO Latin I) */

stringdef a"   hex 'E4'
stringdef o"   hex 'F6'
stringdef u"   hex 'FC'
stringdef ss   hex 'DF'
......

看起来它被翻译回'DF'“ß”

用 e 表示变音符号 德语字母 ä、ö 和 ü，有时分别用 ae、oe 和 ue 表示。这里的词干分析器是主要德语词干分析器的变体，以考虑到这一点。

主要的德语词干分析器以规则开头，

First, replace ß by ss, and put u and y between vowels into upper case. 

这被规则取代，

Put u and y between vowels into upper case, and then do the following mappings,

    (a) replace ß with ss, **"MAYBE WRONG ORDER"**
    (a) replace ae with ä,
    (a) replace oe with ö,
    (a) replace ue with ü unless preceded by q. 



So in quelle, ue is not mapped to ü because it follows q, and in feuer it is not mapped because the first part of the rule changes it to feUer, so the u is not found.