word-embedding - 从 BERT 模型中提取单词特征

Question

如您所知，我们可以提取句子中单词的 BERT 特征。我的问题是，我们也可以提取句子中不包含的单词特征吗？比如“dog”、“human”等单个词的bert特征。

Answer 1

BERT 的第一层是静态嵌入表，因此您可以将其用作任何其他嵌入表和 BERT 将输入用于第一个自注意力层的词（或更常见的子词）的嵌入。静态嵌入只能相互比较，不能与标准上下文嵌入进行比较。如果需要它们可比较的嵌入，您可以尝试将单个词的句子传递给 BERT，但请注意，这将是单个词句的嵌入，而不是一般的词。

然而，BERT 是一个句子级模型，它应该在上下文中获取单词的嵌入。它不是为静态词嵌入设计的，专门为静态词嵌入设计的方法（如 FastText）肯定会得到更好的结果。