theano - 如何使用 word2vec 工具计算语言模型？

Question

我正在尝试建立一个神经网络语言模型，似乎 Mikolov 等人的 word2vec 工具是一个很好的工具。我试过了，但它只会产生单词表示。有人知道我如何通过该工具或任何其他合理的深度学习框架生成语言模型吗？

Answer 1

Microsoft Research 发布了一个使用 word2vec 样式向量进行语言建模的工具包。你可以在这里找到它。

Answer 2

Gensim 中实现的 Doc2Vec 完成了这项工作。诀窍是他们使用文档 ID 作为上下文词，它出现在文档中所有词的所有窗口大小中。

代码在 Python/Gensim 中

Answer 3

word2vec是一种将单个词（oa 组词）表示为数值向量的工具。所以它与语言模型没有直接关系。

要生成语言模型，您可以使用MITLM来完成。例如，您可以使用Lectures.txt以下命令使用语料库创建 N-gram 模型：

estimate-ngram -text Lectures.txt -write-lm Lectures.lm

一个很棒的教程可以在这里找到。