ruby - Ruby：有没有“知道”英语不规则动词的词干分析器？

Question

有一个 ruby 词干分析器https://github.com/aurelian/ruby-stemmer，但它 1) 不会词干英语不规则动词 2) 无法在 Windows 上构建原生扩展。是否有替代方案可以解决至少一个问题？

score 6 · Accepted Answer

我认为您应该搜索词形还原器（它具有有关形态学的信息并且可以处理不规则单词）而不是词干分析器（通常只是切断单词的结尾）。请参阅Manning、Raghavan 和 Schütze 关于信息检索的在线书籍中的解释。

我还没有尝试过，但是快速搜索发现了这个用于 Ruby 的英文词形还原器：elemma。

可以进行词形还原的常用（非 Ruby）英语形态分析器是morpha。

score 4 · Accepted Answer

没有一个词干分析器能够处理英语中的不规则动词。

https://github.com/ealdent/uea-stemmer - 纯 ruby，编写良好，2009 年，文档很少，但比其他文档多一些，可以在 Windows 上安装
https://github.com/romanbsd/fast-stemmer纯C，难读，应该比其他人更快（我没有测试性能），从2009年开始，文档很少，安装在Windows上OK。它的方法有副作用。小心创建副本
https://github.com/aurelian/ruby-stemmer 2010 年，它无法在 Windows 上构建原生扩展。可以处理除英语以外的其他一些欧洲语言
http://rubyforge.org/projects/stemmer纯 ruby，自 2006 年以来一直没有更新，也没有任何文档，在 Windows 上安装 OK，我不知道它是如何工作的
http://rubyforge.org/projects/stemmer4r - 无文档，2005 年。没试过

score 1 · Accepted Answer

3 回答 3