6

我已经使用 keras 来使用预训练的词嵌入，但我不太确定如何在 scikit-learn 模型上做到这一点。

我也需要在 sklearn 中执行此操作，因为我正在使用vecstackkeras 顺序模型和 sklearn 模型进行集成。

这就是我为 keras 模型所做的：

glove_dir = '/home/Documents/Glove'
embeddings_index = {}
f = open(os.path.join(glove_dir, 'glove.6B.200d.txt'), 'r', encoding='utf-8')
for line in f:
    values = line.split()
    word = values[0]
    coefs = np.asarray(values[1:], dtype='float32')
    embeddings_index[word] = coefs
f.close()

embedding_dim = 200


embedding_matrix = np.zeros((max_words, embedding_dim))
for word, i in word_index.items():
    if i < max_words:
        embedding_vector = embeddings_index.get(word)
        if embedding_vector is not None:
            embedding_matrix[i] = embedding_vector

model = Sequential()
model.add(Embedding(max_words, embedding_dim, input_length=maxlen))
.
.
model.layers[0].set_weights([embedding_matrix])
model.layers[0].trainable = False
model.compile(----)
model.fit(-----)

我对 scikit-learn 很陌生，从我看到的在 sklearn 中制作模型的情况来看：

lr = LogisticRegression()
lr.fit(X_train, y_train)
lr.predict(x_test)

所以，我的问题是如何在这个模型中使用预训练的 Glove？我在哪里通过预先训练的手套embedding_matrix

非常感谢您，我非常感谢您的帮助。

4

1 回答 1

9

您可以简单地使用Zeugma库。

您可以使用 安装它pip install zeugma，然后使用以下代码行创建和训练您的模型（假设corpus_train和corpus_test是字符串列表）：

from sklearn.linear_model import LogisticRegresion
from zeugma.embeddings import EmbeddingTransformer

glove = EmbeddingTransformer('glove')
x_train = glove.transform(corpus_train)

model = LogisticRegression()
model.fit(x_train, y_train)

x_test = glove.transform(corpus_test)
model.predict(x_test)

您还可以使用不同的预训练嵌入（此处的完整列表）或自己训练（请参阅Zeugma 的文档了解如何执行此操作）。

于 2019-11-07T15:08:45.123 回答