11

我最近开始研究德语文本的情绪分析项目，我计划使用词干分析器来改进结果。

NLTK 带有一个德国雪球词干，我已经尝试使用它，但我不确定结果。也许应该是这样，但作为一名计算机科学家而不是语言学家，我有一个问题，即词干变化的动词形式来自不同的词干。

以单词“suchen”（搜索）为例，第一人称单数的词根为“such”，第三人称单数的词根为“sucht”。

我知道也有词形还原，但据我所知，没有工作的德国词形还原器集成到 NLTK 中。有 GermaNet，但他们的 NLTK 集成似乎已中止。

直截了当地说：我希望将变形动词形式放在同一个词干上，至少对于相同时态的规则动词而言。如果这对我的目标没有用处，请告诉我原因。如果是，您是否知道可以使用任何其他资源来帮助我实现这一目标？

编辑：我忘了提，任何软件都应该免费用于教育和研究目的。

4

2 回答 2

14

作为一名计算机科学家，您肯定正在寻找正确的方向来解决这个语言问题；）。词干提取通常相当简单，用于信息检索任务以试图减小词典大小，但通常不足以进行更复杂的语言分析。词形还原部分与词干的用例重叠，但包括将动词变形全部重写为相同的根形式（引理），并将“work”作为名词和“work”作为动词进行区分（尽管这有点取决于lemmatiser 的实施和质量）。为此，它通常需要更多信息（如 POS 标签、语法树），因此需要更长的时间，使其不太适合 IR 任务，通常处理大量数据。

除了 GermaNet（不知道它被中止，但从未真正尝试过，因为它是免费的，但您必须签署协议才能访问它），还有 SpaCy，您可以看看：https ://spacy.io/docs/usage/

非常易于安装和使用。请参阅网站上的安装说明，然后使用以下命令下载德语内容：

python -m spacy download de

然后：

>>> import spacy
>>> nlp = spacy.load('de')
>>> doc = nlp('Wir suchen ein Beispiel')
>>> for token in doc:
...     print(token, token.lemma, token.lemma_)
... 
Wir 521 wir
suchen 1162 suchen
ein 486 ein
Beispiel 809 Beispiel
>>> doc = nlp('Er sucht ein Beispiel')
>>> for token in doc:
...     print(token, token.lemma, token.lemma_)
... 
Er 513 er
sucht 1901 sucht
ein 486 ein
Beispiel 809 Beispiel

如您所见，不幸的是，它在您的特定示例（例如）上做得不是很好，而且我不确定数字代表什么（即必须是引理ID，但不确定可以获得哪些其他信息从这个），但也许你可以试一试，看看它是否对你有帮助。

于 2017-07-11T11:33:16.993 回答
1

一个好的和简单的解决方案是使用 TreeTagger。首先，您必须手动安装 treetagge（这基本上是将正确的 zip 文件解压缩到计算机上的某个位置）。你可以在这里找到二进制发行版：http ://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/

然后你需要安装一个包装器来从 Python 中调用它。

以下代码安装包装器并对标记化的句子进行词形还原：

import treetaggerwrapper

tagger = treetaggerwrapper.TreeTagger(TAGLANG='de')

tags = tagger.tag_text(tokenized_sent,tagonly=True) #don't use the TreeTagger's tokenization!

pprint.pprint(tags)

您还可以使用 treetaggerwrapper 的方法从 Treetagges 输出中生成漂亮的对象：

tags2 = treetaggerwrapper.make_tags(tags)
pprint.pprint(tags2)

就这些。

于 2019-06-02T12:47:22.550 回答