问题标签 [glove]

我想通过使用许多 PDF 文件来训练我自己的自定义 Glove 表示。我怎样才能做到这一点 ？有什么方法可以使用 POS 标记和依赖解析等概念吗？你能建议任何链接来实现它吗？

如何在 Glove 中找到两个单词的相似度？我们model.similarity(word1, word2)在 Word2vec 中有。GloVe中是否有类似的方法？如何保存和加载训练有素的 GloVe 模型？

我是 Keras 的新手。

我的目标是为推文的情感分析创建神经网络多分类。

我用来建立我的模型Sequential。Keras

我想在模型的第一层使用预训练的词嵌入gloVe，特别是.

这是我目前的模型：

embedding_matrix由来自文件的向量填充glove.840B.300d.txt

由于我对神经网络模型的输入是句子（或推文），并且在咨询了一些理论之后，我希望在嵌入层之后的层，在获取推文中的每个词向量之后，对句子的词向量进行平均。

目前我使用的是LSTM，我想用这种平均技术或p-means. 我无法在keras文档中找到它。

我不确定这是否是问这个问题的正确地方，但我们将不胜感激。

我下载了手套模型 https://nlp.stanford.edu/projects/glove/

我使用自己的语料库训练 Glove 模型，除了添加自己的语料库外，我没有做任何其他更改。但它给出了以下错误。

我需要从“gensim.models.keyedvectors.Word2VecKeyedVectors”的词汇中删除一个无效单词。

我尝试使用 删除它del model.vocab[word]，如果我打印model.vocab单词消失了，但是当我model.most_similar使用其他单词运行时，我删除的单词仍然显示为相似。那么我怎样才能以影响不带它model.vocab的方式删除一个单词呢？model.most_similar

在 NLP 任务中使用 GloVe 嵌入时，数据集中的某些单词可能不存在于 GloVe 中。因此，我们为这些未知词实例化随机权重。

是否可以冻结从 GloVe 获得的权重，只训练新实例化的权重？

我只知道我们可以设置：model.embedding.weight.requires_grad = False

但这使得新词无法训练..

还是有更好的方法来提取单词的语义..

我试图在 Infersent 的帮助下嵌入一个句子，而 Infersent 使用fastText向量进行词嵌入。fastText 矢量文件接近 5 GiB。

当我们将 fastText 矢量文件与代码存储库一起保存时，它会使存储库变得巨大，并使代码难以共享/部署（甚至创建 docker 容器）。

有什么方法可以避免将矢量文件与存储库一起保存，而是将其重新用于嵌入新句子？

我正在尝试训练 GloVe 嵌入。在stanfordnlp的 GloVe 实现中，有 4 个脚本要运行。但是，运行第二个脚本coocur会导致Illegal Hardware Instruction-Error。我不明白这个错误是如何产生的。

使用输入文件，3.txt我的命令如下所示：

我在远程服务器（Debian GNU/Linux 9 (stretch)）上运行这些命令。当我在本地（18.04.2 LTS（Bionic Beaver））上对相同的数据运行相同的命令时，没有问题。这可能是什么原因？

我已经使用 keras 来使用预训练的词嵌入，但我不太确定如何在 scikit-learn 模型上做到这一点。

我也需要在 sklearn 中执行此操作，因为我正在使用vecstackkeras 顺序模型和 sklearn 模型进行集成。

这就是我为 keras 模型所做的：

我对 scikit-learn 很陌生，从我看到的在 sklearn 中制作模型的情况来看：

所以，我的问题是如何在这个模型中使用预训练的 Glove？我在哪里通过预先训练的手套embedding_matrix

非常感谢您，我非常感谢您的帮助。

以下是glove 的 demo.sh 中的超参数。VERBOSE, MEMORY,WINDOW_SIZE和是什么意思BINARY。

是WINDOW_SIZE15，意思是从右边选了 15 个词，从左边选了 15 个词？