nlp - 文本分类 - 使用词干分析器会降低结果？

Question

有这篇关于阿拉伯语情绪分析的文章。

在第 5 页的开头，它说：

“实验还表明，在特征提取和分类之前提取词干几乎总是会降低结果”。

稍后在同一页面中，他们声明：

“......和一个阿拉伯语的光词干用于词干”

嗯，我认为在文本分类之前总是使用词干分析器/词形还原器，为什么他说它会降低结果？

谢谢 ：）

Answer 1

我不懂阿拉伯语，可能在很多方面都很具体，我的回答是关于英语。

嗯，我认为在文本分类之前总是使用词干分析器/词形还原器，为什么他说它会降低结果？

不，不是，完全取决于任务。如果您想提取文本的一些一般概念，那么词干化/词形化是一个很好的步骤。但是在分析短块时，每个单词都很有价值，词干只是破坏了它的含义。特别是 - 在情感分析中，词干可能会破坏单词的情感。