word-embedding - 如何从 RoBERTa 获得每个单词（令牌）的单个嵌入向量？

Question

您可能知道，RoBERTa (BERT, etc.)它有自己的标记器，有时您会得到给定单词的片段作为标记，例如嵌入»嵌入，#dings

由于我正在处理的任务的性质，我需要每个单词的单一表示。我如何得到它？

清除：

句子：“embeddings are good”--> 给定
输出 3 个单词标记：[embed,#dings,are,good] --> 4 个标记输出

当我对预训练的 RoBERTa 下句子时，我得到了编码的标记。最后，我需要每个令牌的表示。解决方案是什么？逐点求和嵌入 + #dings 标记？

Answer 1

我不确定是否有标准做法，但我看到其他人所做的只是简单地取子令牌嵌入的平均值。示例：https ://arxiv.org/abs/2006.01346 ，第 2.3 节第 4 行