Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
ELMo、BERT、GloVe在单词表示上有什么区别?他们在执行词嵌入任务方面有何不同?与其他人相比,哪个更好,每个人都有哪些优点和缺点?
这是一个很大的问题。
我将专注于文字表示。
ELMo、BERT 和 GloVe可以分为两大类。GloVe是非上下文词嵌入,ElMo、BERT属于上下文词嵌入。
第二组可分为单向模型(ELMo)和双向模型(BERT)。
首先,我们可以尝试理解 4 个术语:非上下文/上下文词嵌入和单向/双向模型。
之后,我们可以更深入地了解其他差异。