deep-learning - Pytorch：与 SGD 相比，Adam 优化器显着减少了梯度流

Question

我正在 Pytorch 中训练基于变压器的架构。我使用以下代码在训练期间跟踪网络的梯度流：

def plot_grad_flow(named_parameters):
    ave_grads = []
    max_grads= []
    layers = []
    for n, p in named_parameters:
        if(p.requires_grad) and ("bias" not in n):
            layers.append(n)
            ave_grads.append(p.grad.abs().mean())
            max_grads.append(p.grad.abs().max())
    plt.bar(np.arange(len(max_grads)), max_grads, alpha=0.1, lw=1, color="c")
    plt.bar(np.arange(len(max_grads)), ave_grads, alpha=0.1, lw=1, color="b")
    # plt.hlines(0, 0, len(ave_grads)+1, lw=2, color="k" )
    plt.xticks(range(0,len(ave_grads), 1), layers, rotation="vertical")
    # plt.xlim(left=0, right=len(ave_grads))
    plt.ylim(bottom = -0.001, top=0.02) # zoom in on the lower gradient regions
    plt.xlabel("Layers")
    plt.ylabel("average gradient")
    plt.title("Gradient flow")

通过使用 SGD 时，opt = torch.optim.SGD(model.parameters(), lr=0.01)我通过网络获得了不错的梯度流（见下图）

opt = torch.optim.Adam(model.parameters(), lr=0.01, betas=(0.9, 0.98), eps=1e-9)但是，当我在第一层之后通过渐变死了 Adam 优化（见下图）

这是预期的行为吗？