word-embedding - BERT 句子嵌入和 LSA 嵌入之间的差异

Question

BERT 即服务（https://github.com/hanxiao/bert-as-service）允许提取句子级嵌入。假设我有一个预训练的 LSA 模型，它给了我一个 300 维的词向量，我想了解当我尝试比较两个句子的语义连贯性时，LSA 模型在哪种情况下会比 BERT 表现更好？

我想不出 LSA 更适合这个用例的原因——因为 LSA 只是一大袋单词矩阵的压缩。

Answer 1

BERT 需要具有序列长度的二次记忆，并且仅在拆分句子的对上进行训练。在处理非常长的句子时，这可能不方便。

对于 LSA，您只需要在文档长度中确实是恒定大小的词袋向量。对于非常长的文档，LSA 可能仍然是一个更好的选择。