4

您能否向我推荐用于文本预处理和清理的 java 库?该库应执行以下任务:

  • 将所有动词转换为不定式
  • 将所有名词转换为单数形式
  • 删除无用的(对于文本的意义)词
4

2 回答 2

3

将单词转换为规范形式(例如,动词转换为不定式,名词转换为单数)称为词形还原Standford CoreNLP是一种基于 Java 的词形还原器。

对于“无用词”,您可能需要“停用词” - 没有标准列表,但互联网上流传着很多或多或少相同的功能,唯一的区别是它们包含多少词(通常在 100 到 100 之间) 1000)。我以前知道有人使用这个列表。删除停用词时,请记住在查找匹配项时忽略大小写。

于 2012-11-05T00:57:12.897 回答
-2

不确定这是否能满足您的所有需求,但请查看 mrsqg。

http://code.google.com/p/mrsqg/

于 2012-11-03T16:25:32.130 回答