您能否向我推荐用于文本预处理和清理的 java 库?该库应执行以下任务:
- 将所有动词转换为不定式
- 将所有名词转换为单数形式
- 删除无用的(对于文本的意义)词
您能否向我推荐用于文本预处理和清理的 java 库?该库应执行以下任务:
将单词转换为规范形式(例如,动词转换为不定式,名词转换为单数)称为词形还原。Standford CoreNLP是一种基于 Java 的词形还原器。
对于“无用词”,您可能需要“停用词” - 没有标准列表,但互联网上流传着很多或多或少相同的功能,唯一的区别是它们包含多少词(通常在 100 到 100 之间) 1000)。我以前知道有人使用这个列表。删除停用词时,请记住在查找匹配项时忽略大小写。
不确定这是否能满足您的所有需求,但请查看 mrsqg。