python - 找出 10 个最常出现的词与形态

Question

请告诉我如何更好地解决这个问题。

我有俄语的文本，我想找到 10 个最常见的词法词。也许有任何开源库可以在python中解决这个问题？

Answer 1

您可以使用俄语的 Python 形态分析器之一来规范化单词：

• https://github.com/kmike/pymorphy2
• https://github.com/kmike/pymorphy
• https://github.com/irokez/Pyrus

在https://github.com/nltk/nltk中还有一个用于俄语的 Porter 词干分析器。此外，您可以从命令行使用http://company.yandex.ru/technologies/mystem/ 。

我会为你的任务推荐 pymorphy2，但我有点偏颇:)

Answer 2

PyStemmer和NLTK是这里最明显的两个库。