1

我在使用 Stanford NLP Parser/POS Tagger 的应用程序中发现了不一致行为的示例，并且我能够在线复制它http://nlp.stanford.edu:8080/corenlp/process。我使用的是 3.60 版：

以下是我目前发现的 3 个问题：

  • 有或没有不一致问题的点：

NLP 斯坦福 POS 标注器，带点和不带点

  • 被发现为名词的动词 在此处输入图像描述

  • 被标记为形容词的动词 在此处输入图像描述

我知道语言相当模棱两可，但我想知道我是否可以信任这个库，即使是那些简单的短语。我也想知道我是否做错了什么。我单独尝试了每个示例的有问题的案例，或者换句话说，在单独的句子中尝试了问题，但问题仍然存在。

这是预期的行为：

在此处输入图像描述

任何帮助表示赞赏！谢谢

4

2 回答 2

3

你没有做错什么。当然，欢迎您自己决定对任何工具的信任程度，但我怀疑您会在任何经过​​经验/统计训练的解析器中看到类似的问题。至于你的问题：

  • 句点在模型构建中被视为任何其他标记，因此，是的，它们可以影响选择的解析。
  • 英语中确实存在很多歧义（就像所有其他人类语言中一样），是否将以ing结尾的形式解释为动词、名词（动词名词或动名词）或形容词的问题是一个常见的问题。解析器并不总是正确的。

  • 就它做出的特别糟糕的选择而言，它们通常反映了解析器训练数据和您正在尝试的句子之间的用法/域不匹配。训练数据主要是新闻文章——上个千年的新闻文章——尽管我们确实混合了一些其他数据并偶尔添加。所以：

    • 标记作为动词的使用，在现代互联网开发人员使用中很常见，在训练数据中根本不会出现，因此毫不奇怪倾向于选择 JJ 进行标记，因为这是对训练数据中唯一案例的分析。
    • 在新闻文章中，饮酒只是一个更常见的名词，讨论未成年人饮酒、喝咖啡、酒后驾车等。
于 2016-03-20T23:08:56.390 回答
1

来自 POS 标注器的不同结果让我发疯，所以为了进行健全性检查，我终于写了一些东西来快速将结果与通常使用的三个（Stanford NLP、NLTK 3.2.1 和 Senna）进行比较某些文字。 https://github.com/StealthyK/TaggerTimer

于 2017-07-28T23:16:26.693 回答