2

对于命名实体识别问题，

对句子进行标记后，如何设置列？看起来文档中的一列是 POS 标签，但是这些来自哪里？我应该自己标记 POS 还是有生成这些的工具？

下一列代表什么？像PERSON，LOCATION等这样的类？它必须采用任何特定格式吗？

是否有完整的 NER 训练文件和模板示例？

4

1 回答 1

3

您可以在此处的 crf++ 存储库中找到示例训练和测试数据。名词短语分块的训练数据如下所示：

Confidence NN B
in IN O
the DT B
pound NN I
is VBZ O
widely RB O
expected VBN O
... etc ...

这些列是任意的，因为它们可以是任何东西。CRF++ 要求每行具有相同数量的列（或为空白，以分隔句子），并非所有 CRF 包都要求这样做。您必须自己提供数据值；它们是分类器从中学习的数据。

虽然任何内容都可以放在各个列中，但您应该知道的一个约定是IOB Format。为了处理潜在的多令牌实体，您将它们标记为内部/外部/开始。举个例子可能会有用。假设我们正在训练一个分类器来检测名称 - 为了紧凑，我将在一行中写下：

John/B Smith/I ate/O an/O apple/O ./O

在柱状格式中，它看起来像这样：

John B
Smith I
ate O
an O
apple O
. O

使用这些标签，B（开始）意味着单词是实体中的第一个，I意味着单词在实体内部（它位于B标签之后），并且O意味着单词不是实体。如果您有不止一种类型的实体，则通常使用类似B-PERSON或的标签I-PLACE。

使用 IOB 标记的原因是分类器可以学习开始、继续和结束实体的不同转换概率。因此，如果您正在学习公司名称，它将了解到Inc./I-COMPANY通常会转换为O标签，因为Inc.通常是公司名称的最后一部分。

模板是另一个问题，CRF++ 使用自己的特殊格式，但同样，您可以查看源代码分发中的示例。另请参阅此问题。

要回答对我的回答的评论，您可以使用任何 POS 标记器生成 POS 标签。您甚至根本不需要提供 POS 标签，尽管它们通常很有帮助。其他标签可以手动添加或自动添加；例如，您可以使用已知名词列表作为起点。这是一个将spaCy用于简单名称检测器的示例：

import spacy
nlp = spacy.load('en')
names = ['John', 'Jane', etc...]
text = nlp("John ate an apple.")
for word in text:
    person = 'O' # default not a person
    if str(word) in names:
        person = 'B-PERSON'
    print(str(word), word.pos_, person)
于 2018-06-13T10:50:42.077 回答