machine-learning - 获取在 OpenNMT-py 中训练的模型的梯度

Question

当使用 OpenNMT-py 训练模型时，我们得到一个 dict 作为输出，其中包含网络的权重和偏差。但是，这些张量具有 requires_grad = False，因此没有梯度。例如。对于一层，我们可能有以下张量，表示编码器和解码器中的嵌入以及权重和偏差。它们都没有渐变属性。

编码器.embeddings.emb_luts.0.weight

解码器.embeddings.emb_luts.0.weight

编码器.rnn.weight_ih_l0

编码器.rnn.weight_hh_l0

编码器.rnn.bias_ih_l0

编码器.rnn.bias_hh_l0

解码器.rnn.layers.0.weight_ih

解码器.rnn.layers.0.weight_hh

解码器.rnn.layers.0.bias_ih

解码器.rnn.layers.0.bias_hh

OpenNMT-py 是否可以设置 requires_gradient = True 并使用一些我没有找到的选项，或者是否有其他方法可以获得这些张量的梯度？

Answer 1

梯度只能在optim.step()调用的训练循环内访问。如果您想将梯度（或梯度范数或其他）记录到 TensorBoard，最好在调用优化器步骤之前获取它们。它发生在对象的_gradient_accumulation方法中Trainer。

请注意，有两个地方optim.step()被调用。使用哪一个取决于您是在每批之后进行更新，还是从多个批次中累积梯度并在之后进行更新。