1

我正在寻找一种实现学习率搜索的方法，如下所述：https ://arxiv.org/pdf/1506.01186.pdf 。

为了实现这一点，我需要有一种方法可以在单个 epoch 中获得多个学习率的损失。我正在考虑创建一个 SessionRunHook 并简单地从每个步骤的损失中取平均值，这并不准确，因为最后一步很可能没有元素的 batch_size 但它应该足够好。

您是否实施过这样的 SessionRunHook 或知道如何在训练期间访问损失或/和批量大小。

4

2 回答 2

2

我想出的是这个，它不考虑最后一个可以更小的小批量，但由于我没有运行整个训练集，它应该没问题：

class RecordLossHook(tf.train.SessionRunHook):
  def __init__(self, loss_name):
    self.loss_name = loss_name

  def begin(self):
    self._loss_tensor = tf.get_default_graph().as_graph_element(self.loss_name+":0")
    self.loss_summed = 0
    self.batch_count = 0

  def before_run(self, run_context):
    return tf.train.SessionRunArgs(self._loss_tensor)

  def after_run(self, run_context,  run_values):
    self.loss_summed += run_values.results
    self.batch_count += 1 
    self.loss = self.loss_summed/self.batch_count

但是，如果有人有更好的钩子来解释最后一个小批量，我很乐意接受这样的答案。

于 2018-01-21T01:03:11.367 回答
0

也许这样的事情也会起作用：

epoch_loss = tf.Variable(0, trainable=False, dtype=tf.float32)
update_epoch_loss = tf.assign_add(epoch_loss, loss_op)
reset_epoch_loss = tf.variables_initializer([epoch_loss])


for epoch in num_epochs:

    sess.run(reset_epoch_loss)

    for step in steps_per_epoch:
        sess.run([train_op, update_epoch_loss])

    this_epoch_loss = sess.run(epoch_loss)
于 2018-08-24T11:44:03.120 回答