word2vec、glove 和 elmo 有什么区别？根据我的理解，它们都用于训练词嵌入，对吗？
问问题
449 次
1 回答
0
**是的，它们都是训练词嵌入的两种方法。它们都提供了相同的核心输出：每个单词一个向量，向量的排列方式很有用——相对距离/方向大致符合我们对整体单词相关性的想法，甚至是沿某些显着语义维度的相关性。
Word2Vec 通过反复迭代训练语料库对神经网络进行增量、“稀疏”训练。
GloVe 致力于拟合向量以对从语料库构建的巨大单词共现矩阵进行建模。
从相同的语料库中工作，创建相同维度的词向量，并同样关注元优化，它们生成的词向量的质量将大致相似。（当我看到有人自信地声称其中一个肯定更好时，他们经常将一种算法的一些调整/最佳情况使用与另一种算法的一些粗略/任意默认值进行比较。）
我更熟悉 Word2Vec，我的印象是 Word2Vec 的训练可以更好地扩展到更大的词汇表，并且具有更多可调整的设置，如果你有时间，可能允许将你自己训练的词向量更多地调整到你的特定应用程序。
除非将它们相互比较，否则您可能不会同时使用两者，因为它们对于词向量的任何下游应用程序都起着相同的作用。**
于 2020-02-21T14:44:31.493 回答