nlp - 基于转换的依赖解析器如何决定在其配置阶段下一步执行哪个操作？

Question

我了解该模型在其配置阶段使用先前训练的词性标记。但是如果大部分单词都是新的，那么解析器将如何决定它的操作呢？

Answer 1

我想将@Quantum 的答案充实如下：

在 2014 年之前，许多解析器依赖于手动设计的一组特征模板，这种方法有两个缺点：1）它们需要大量的专业知识并且通常不完整；2) 大部分运行时间被配置阶段的特征提取部分消耗。在 Chen 和 Mannning 发表他们的论文A Fast and Accurate Dependency Parser using Neural Networks之后，几乎所有的解析器都依赖于神经网络。

让我们看看陈和曼宁是如何完成这项工作的。

如上图所示，神经网络的输出是一个softmax函数后的分布，那么它就是一个依赖于一些给定信息的简单分类问题。给定的信息主要包含三个部分：栈和缓冲区的前3个词，栈顶两个词的最左/最右两个孩子，最左边和最右边的孙子；以上的POS标签；以及所有子/孙的弧标签。

输入被嵌入到一个矩阵中，并由两个矩阵（如图中所示的一个立方体函数）转换为 logits，然后是网络顶部三个元素的分布。

HTH :)

参考资料：1）使用神经网络的快速准确的依赖解析器，2）CMU Neural Nets for NLP 2017（12）：基于转换的依赖解析

Answer 2

它咨询预言机，以便在任何给定点选择最可能的转换。