python - 使用 BERT 对单词位置进行序列标记

Question

如果我有一组句子，并且在这些句子中，单词之间存在一些依赖关系。我想训练 BERT 来预测哪些词与其他词有依赖关系。

例如，如果我有这句话：

我们在法国首都巴黎四处走动。

0--------1--------2--------3-----4----5--------6-----7- --8-----9----10---11（单词索引）

我希望 BERT 预测Paris的位置France。因此，将任务塑造为序列标记任务。

如果该单词与句子中的任何其他单词或其他单词的索引之间没有关系，则单词的标签可以是-1；对于我们上面的例子，Parisword 应该有 11 作为 word 的索引France。

将索引作为标签放置是否正确？

Answer 1

不是。问题是每个句子的位置索引都有完全不同的含义，所以网络学习做什么是非常困难的。您可以将最终投影中的参数矩阵想象为目标类的嵌入，将分类想象为测量类嵌入的输出状态的相似性。

我建议进行类似于人们有时在依赖解析器中所做的分类，即，对于每对单词，分类单词之间是否存在关系。

BERT 为您提供了一个矩阵，其中包含每个句子的上下文嵌入。从中创建一个 3D 张量，其中 position[i, j]包含单词i和j. 然后，将这些对中的每一个分类为真/假，判断这是否是这两个词之间的依赖链接。