7

当我打开 verb.exc 时，我可以看到

saw see

虽然我在代码中使用词形还原

>>>print lmtzr.lemmatize('saw', 'v')
saw

这怎么可能发生？我在修改 wordNet 时是否有误解？

4

1 回答 1

12

简而言之：

这是一种奇怪的例外情况。

还有一种情况，I saw the log the into half.“saw”是现在时动词。

请参阅@nschneid 解决方案以在提出的问题中使用更多细粒度标签：https ://github.com/nltk/nltk/issues/1196

在长：

如果我们看一下我们如何在 NLTK 中调用 WordNet lemmatizer：

>>> from nltk.stem import WordNetLemmatizer
>>> wnl = WordNetLemmatizer()
>>> wnl.lemmatize('saw', pos='v')
'saw'
>>> wnl.lemmatize('saw')
'saw'

指定 POS 标签似乎是多余的。让我们看一下 lemmatizer 代码本身：

class WordNetLemmatizer(object):
    def __init__(self):
        pass

    def lemmatize(self, word, pos=NOUN):
        lemmas = wordnet._morphy(word, pos)
        return min(lemmas, key=len) if lemmas else word

它所做的是它依赖于_moprhywordnet 语料库的属性来返回可能的引理。

如果我们遍历代码，我们会在https://github.com/nltk/nltk/blob/develop/nltk/corpus/reader/wordnet.py#L1679nltk.corpus.wordnet看到_morphy()代码

该函数的前几行从wordnet的读取异常文件verb.exc，即https://github.com/nltk/nltk/blob/develop/nltk/corpus/reader/wordnet.py#L1687

因此，如果我们在 lemmatizer 函数之外对异常进行临时搜索，我们确实会看到'saw' -> 'see'：

>>> from nltk.corpus import wordnet as wn
>>> exceptions = wn._exception_map['v']
>>> exceptions['saw']
[u'see']

因此，如果我们_morphy()在 lemmatizer 之外调用该函数：

>>> from nltk.corpus import wordnet as wn
>>> exceptions = wn._exception_map['v']
>>> wn._morphy('saw', 'v')
['saw', u'see']

让我们回到WordNetLemmatizer.lemmatize()代码的返回行，我们看到return min(lemmas, key=len) if lemmas else word：

def lemmatize(self, word, pos=NOUN):
    lemmas = wordnet._morphy(word, pos)
    return min(lemmas, key=len) if lemmas else word

这意味着该函数将以wn._morphy()最小长度返回输出。但是在这种情况下，saw 和 see 的长度相同，因此返回的列表中的第一个wn._morphy()将是返回的，即saw.

实际上，WordNetLemmatizer.lemmatize()正在这样做：

>>> from nltk.corpus import wordnet as wn
>>> wn._morphy('saw', 'v')
['saw', u'see']
>>> min(wn._morphy('saw', 'v'), key=len)
'saw'

所以问题是：

  • 如何避免 NLTK 中的这个“错误”？
  • 如何修复 NLTK 中的这个“错误”？

但请注意，它不完全是“错误”，而是表示表面词的其他可能引理的“特征”（尽管该特定上下文中的词很少见，例如I saw the log into half.

如何避免 NLTK 中的这个“错误”？

为了避免 NLTK 中的这个“错误”，请使用nltk.wordnet._morphy()而不是nltk.stem.WordNetLemmatizer.lemmatize()那样，您将始终获得可能的引理列表，而不是按长度过滤的引理。词形还原：

>>> from nltk.corpus import wordnet as wn
>>> exceptions = wn._exception_map['v']
>>> wn._morphy('saw', pos='v')
['saw', 'see']

更多的选择总比错误的选择好。

如何修复 NLTK 中的这个“错误”？

除了min(lemmas, key=len)次优之外，该_morphy()函数在处理异常时有点不一致，因为复数词中的罕见含义可能本身就是一个引理，例如teeth用于指代假牙，请参阅http://wordnetweb.princeton。 edu/perl/webwn?s=牙齿

>>> wn._morphy('teeth', 'n')
['teeth', u'tooth']
>>> wn._morphy('goose', 'n')
['goose']
>>> wn._morphy('geese', 'n')
[u'goose']

所以引理选择的错误一定是在nltk.wordnet._morphy()异常列表之后的函数中引入的。如果输入的表面词出现在异常列表中，一个快速的技巧是立即返回异常列表的第一个实例，例如：

from nltk.corpus import wordnet as wn
def _morphy(word, pos):
    exceptions = wn._exception_map[pos]
    if word in exceptions:
        return exceptions[word]

    # Else, continue the rest of the _morphy code.
于 2015-11-08T23:24:55.160 回答