python-3.x - 使用 The Glove 方法时谈论 skip-gram 和 cbow 有意义吗？

Question

我正在尝试不同的词嵌入方法，以便选择最适合我的方法。我试过 word2vec 和 FastText。现在，我想试试 Glove。在 word2vec 和 FastText 中，都有两个版本：Skip-gram（从单词预测上下文）和 CBOW（从上下文预测单词）。但是在 Glove python 包中，没有参数可以让你选择是使用 skipg-gram 还是 Cbow。

鉴于 Glove 的工作方式与 w2v 不同，我想知道：在使用 The Glove 方法时谈论 skip-gram 和 cbow 是否有意义？

提前致谢

Answer 1

并非如此，skip-gram 和 CBOW 只是两个 Word2vec 模型的名称。它们是浅层神经网络，通过从单词预测上下文来生成单词嵌入，反之亦然，然后将隐藏层的输出视为向量/表示。GloVe 使用不同的方法，通过在共现矩阵上训练而不是局部上下文窗口来利用语料库的全局统计数据。