nlp - 句子编码和语境化词嵌入有什么区别？

Question

我在阅读有关 BERT 和 ELMo 的论文时看到了这两个术语，所以我想知道它们之间是否有区别。

Answer 1

• 上下文化词嵌入是表示特定上下文中的词的向量。Word2Vec和 GloVe 等传统词嵌入为每个词生成一个向量，而上下文化词嵌入根据上下文为一个词生成一个向量。考虑句子The duck is swimming和You shall duck when someone shoots at you。对于传统的词嵌入，duck两个句子中的词向量是相同的，而在上下文化的情况下它应该是不同的。
• 虽然词嵌入将词编码为向量表示，但还有一个问题是如何以计算机可以轻松使用的方式表示整个句子。这些句子编码可以将整个句子嵌入为一个向量，例如 doc2vec，它为一个句子生成一个向量。但 BERT 也会为整个句子生成一个表示，即 [CLS]-token。

所以简而言之，一个上下文化的词嵌入表示上下文中的一个词，而一个句子编码表示一个完整的句子。