1

似乎不可能将预训练的嵌入加载到层。看这里

我做的解决方法如下：

    model = create_model()

    E = [p for p in model.parameters if p.name == 'E'][0]
    emb = np.asarray(np.loadtxt('embeddings.txt', delimiter=' '), dtype='float32')
    model = model.clone(CloneMethod.clone, { E: constant(emb) })

embeddings.txt 具有以下格式，其中行数是我使用的词汇表中的单词数，列数是我为嵌入选择的维度：-0.05952413007617 0.12596195936203 -0.189506858587265 ... -0.0871662572026253 -0.095480620115 -0.126074999570847 ... ...

以上似乎是正确的解决方法吗？我开始了一个训练课程，与训练嵌入层时相比，参数数量减少了，这可能是一个很好的指示。

4

2 回答 2

2

您能否尝试一下：E.value = emb 作为替代解决方法。

您的解决方法将嵌入冻结为常数。如果这是不可接受的，并且您想进一步训练嵌入，则上述方法可能是您的选择。

于 2017-01-06T01:07:36.910 回答
0

这已得到修复。例如：

# embedding, initialized from a user-supplied constant weight table
e = Embedding(weights=[[1, 3, 2], [3, 4, 1]])

# (you would get the weights from a file instead)

# test it:
y = Input(2)

dat = np.array([[-1., 1.]], dtype=np.float32)
res = e(y).eval({y: dat})

npout = np.matrix(dat[0]) * e.E.value
np.testing.assert_array_equal(res[0], npout, err_msg='Error in constant embedding layer')
于 2017-03-31T07:39:05.230 回答