6

我正在尝试理解和学习 SyntaxNet。我试图弄清楚是否有任何方法可以使用 SyntaxNet 进行语料库的名称实体识别。任何示例代码或有用的链接将不胜感激。

4

3 回答 3

4

虽然 Syntaxnet 没有明确提供任何命名实体识别功能，但 Parsey McParseface 会进行部分语音标记并将输出生成为 Co-NLL 表。

任何专有名词都被标记为 NNP，我发现像这样的简单正则表达式标识符：<NNP>+即一个或多个专有名词放在一起，可以在文档中产生相当好的命名实体。它当然是基本的和基于规则的，但仍然有效。

为了将 Co-NLL 数据从 demo.sh 脚本（位于“/opt/tensorflow/models/syntaxnet/syntaxnet”中）通过管道传输到输出文件，请注释掉通过管道将其传输到 conll2ascii.py 的代码部分，所以脚本看起来像这样：

PARSER_EVAL=bazel-bin/syntaxnet/parser_eval
MODEL_DIR=syntaxnet/models/parsey_mcparseface
[[ "$1" == "--conll" ]] && INPUT_FORMAT=stdin-conll || INPUT_FORMAT=stdin

$PARSER_EVAL \
  --input=$INPUT_FORMAT \
  --output=stdout-conll \
  --hidden_layer_sizes=64 \
  --arg_prefix=brain_tagger \
  --graph_builder=structured \
  --task_context=$MODEL_DIR/context.pbtxt \
  --model_path=$MODEL_DIR/tagger-params \
  --slim_model \
  --batch_size=1024 \
  --alsologtostderr \
   | \
  $PARSER_EVAL \
  --input=stdin-conll \
  --output=sample-param \
  --hidden_layer_sizes=512,512 \
  --arg_prefix=brain_parser \
  --graph_builder=structured \
  --task_context=$MODEL_DIR/context.pbtxt \
  --model_path=$MODEL_DIR/parser-params \
  --slim_model \
  --batch_size=1024 \
  --alsologtostderr

您还会注意到，上述文件中的输出参数已更改为 sample-param。我们现在将设置它。进入 context.pbtxt 文件（位于“/opt/tensorflow/models/syntaxnet/syntaxnet/models/parsey_mcparseface”）并创建一个输入参数以指向您的输出文件。它应该看起来像这样：

input {
  name: 'sample-param'
  record_format: 'conll-sentence'
  Part {
    file_pattern: "directory/prepoutput.txt"
  }
}

保存并关闭文件并返回到“/opt/tensorflow/models/syntaxnet”并按照 syntaxnet 教程中的说明运行 syntaxnet/demo.sh。完成后转到指定的输出文件夹，您应该有一个 co-nll 格式的表格。然后，您可以运行一个简单的迭代程序，遍历每个条目并识别 pos 标签，并在此基础上尝试我建议的实体识别格式的变体。

希望这有帮助！

于 2016-10-03T14:24:29.127 回答
2

我使用了能够识别命名实体识别的GATE，它不需要解析 NER。虽然 SyntaxNet 中的词性标注器可以识别名词、名词修饰符等（这是指定名称实体不同角色的更强大工具），但我不确定它在识别 NER 方面的执行速度有多快。

于 2016-07-13T18:15:06.853 回答
1

不，我从未遇到过任何使用/需要解析命名实体识别 (NER) 的工具或方法。

尽管 NER 可能会从与解析树相关的特征中获益，但这是一种迂回的方式，因为与 NER 的一般实现相比，解析非常慢。这也是为什么在 NER 系统中甚至没有将词性标签用作特征的原因。

希望这可以帮助。

于 2016-06-30T14:20:57.313 回答