nlp - gensim如何计算doc2vec段落向量

Question

我正在阅读这篇论文http://cs.stanford.edu/~quocle/paragraph_vector.pdf

它指出

“段落向量和词向量被平均或连接以预测上下文中的下一个词。在实验中，我们使用连接作为组合向量的方法。”

串联或平均如何工作？

示例（如果第 1 段包含 word1 和 word2）：

word1 vector =[0.1,0.2,0.3]
word2 vector =[0.4,0.5,0.6]

concat method 
does paragraph vector = [0.1+0.4,0.2+0.5,0.3+0.6] ?

Average method 
does paragraph vector = [(0.1+0.4)/2,(0.2+0.5)/2,(0.3+0.6)/2] ?

同样来自这张图片：

据称：

段落标记可以被认为是另一个词。它充当记忆，记住当前上下文或段落主题中缺少的内容。出于这个原因，我们经常将此模型称为段落向量的分布式内存模型（PV-DM）。

段落标记是否等于等于 的段落向量on？

Answer 1

串联或平均如何工作？

你的平均水平是正确的。串联是：[0.1,0.2,0.3,0.4,0.5,0.6]。

段落标记是否等于等于 on 的段落向量？

“段落标记”映射到称为“段落向量”的向量。它不同于记号“on”，也不同于记号“on”映射到的词向量。

Answer 2

一系列文本的简单（有时有用）向量是文本单词向量的总和或平均值——但这不是“段落向量”论文的“段落向量”。

相反，段落向量是另一个向量，训练类似于词向量，它也被调整以帮助单词预测。这些向量与词向量组合（或交错）以提供预测模型。也就是说，平均（在 DM 模式下）包括词向量旁边的 PV - 它不会从词向量组成 PV。

在图on中，目标词是被预测的，在该图中是由紧密相邻的词和完整示例的 PV 组合而成的，这可能被非正式地认为是一个特殊的伪词，覆盖整个文本示例，参与在真实单词的所有滑动“窗口”中。