neural-network - 在 Torch 中，如何修复训练时间中的预训练嵌入？

Question

我正在尝试在预训练的词嵌入上训练 RNN。假设这些预训练嵌入保存在矩阵 E 中，我可以使用它来初始化 LookupTable：

lookupTable = nn.LookupTable(n_words, d)
lookupTable.weight = E

如何强制模型在训练期间保持这些嵌入固定？

Answer 1

也许有两种可能性：

1. 强制该层的权重在每次小批量迭代时保持为 1

2. 通过扩展 nn.LookupTable 并覆盖 updateOutput 来实现您自己的查找表，以便不更新权重。