tensorflow - 像这样在 Tensorflow 和 Theano 中的动量梯度更新有什么不同？

Question

我正在尝试在我的深度学习项目中使用 TensorFlow。
在这里，我需要在这个公式中实现我的梯度更新：

我也在 Theano 中实现了这部分，它得到了预期的答案。但是当我尝试使用 TensorFlow 时MomentumOptimizer，结果真的很糟糕。我不知道他们之间有什么不同。

西诺：

def gradient_updates_momentum_L2(cost, params, learning_rate, momentum, weight_cost_strength):
    # Make sure momentum is a sane value
    assert momentum < 1 and momentum >= 0
    # List of update steps for each parameter
    updates = []
    # Just gradient descent on cost
    for param in params:
        param_update = theano.shared(param.get_value()*0., broadcastable=param.broadcastable)
        updates.append((param, param - learning_rate*(param_update + weight_cost_strength * param_update)))
        updates.append((param_update, momentum*param_update + (1. - momentum)*T.grad(cost, param)))
    return updates

TensorFlow：

l2_loss = tf.add_n([tf.nn.l2_loss(v) for v in tf.trainable_variables()])
cost = cost + WEIGHT_COST_STRENGTH * l2_loss
train_op = tf.train.MomentumOptimizer(LEARNING_RATE, MOMENTUM).minimize(cost)

Answer 1

如果你看一下 TensorFlow [链接] 中动量优化器的实现，它的实现如下：

accum = accum * momentum() + grad;
var -= accum * lr();

如您所见，公式有点不同。通过学习率缩放动量项应该可以解决您的差异。

自己实现这样的优化器也很容易。生成的代码看起来类似于您包含的 Theano 中的代码片段。