2

当我们向输入张量提供小批量数据时，Tensorflow 是否已经最小化了 API，比如 GradientDescentOptimizer 已经实现了小批量？

我正在阅读这个博尔格，它表明该minimize方法中没有实现 minibatch，我们必须先做compute_gradients，然后累积梯度，最后做apply_gradients才能完成 minibatch 训练。

def train_standard(opt_type, learning_rate, image_set):
# Arrays for logging accuracy and loss
acc_log = np.zeros(len(image_set))
loss_log = np.zeros(len(image_set))
# Create optimizer
opt = opt_type(learning_rate)
#
# no-minibatch (standard, simple) operation
#
minimize = opt.minimize(loss)
# Create session to execute ops
sess = tf.InteractiveSession()
# Necessary initializations
tf.set_random_seed(1234)
tf.global_variables_initializer().run()
# Train loop
for i, batch in enumerate(image_set):
    sess.run(minimize, feed_dict={x: batch[0], y_: batch[1]})

    acc_log[i] = sess.run(accuracy, 
                          feed_dict={x: mnist.test.images, y_: mnist.test.labels})
    loss_log[i] = sess.run(loss, 
                           feed_dict={x: mnist.test.images, y_: mnist.test.labels})

return acc_log, loss_log

然而，当我做实验时，我发现两种方法产生了相似的结果。我想知道如果我们是一个小批量大小矩阵而不是一行训练数据，该minimize方法是否会进行小批量更新。feed_dict

如果我错了，谁能帮我澄清这个问题并纠正我？

最好的祝福

4

1 回答 1

1

这取决于您对小批量学习的定义。一种方法是简单地对一个小批量进行采样，执行权重更新（即，计算前向和后向传递），对另一个小批量进行采样，执行另一个权重更新，等等。Optimizer.minimize()当您一次只喂一个小批量时，这很容易完成。AFAIK，这是最常用的方法。

您喜欢的帖子旨在做其他事情：计算多个小批量的梯度（即计算前向和后向传递，但不要更改权重），然后使用所有累积的梯度执行单个权重更新。这当然是不同的，并且需要更多的工作来实现（如帖子所示）。

于 2018-10-29T08:15:21.107 回答