22

我tf.estimator在 TensorFlow 1.4 中使用并且tf.estimator.train_and_evaluate很棒，但我需要提前停止。添加它的首选方式是什么？

我认为有一些tf.train.SessionRunHook地方可以做到这一点。我看到有一个旧的 contrib 包，ValidationMonitor它似乎已经提前停止，但在 1.4 中似乎不再存在。或者将来首选的方式是依靠tf.keras（提前停止真的很容易）而不是tf.estimator/tf.layers/tf.data，也许？

4

4 回答 4

33

好消息！tf.estimator现在对 master 有早期停止支持，看起来它将在 1.10 中。

estimator = tf.estimator.Estimator(model_fn, model_dir)

os.makedirs(estimator.eval_dir())  # TODO This should not be expected IMO.

early_stopping = tf.contrib.estimator.stop_if_no_decrease_hook(
    estimator,
    metric_name='loss',
    max_steps_without_decrease=1000,
    min_steps=100)

tf.estimator.train_and_evaluate(
    estimator,
    train_spec=tf.estimator.TrainSpec(train_input_fn, hooks=[early_stopping]),
    eval_spec=tf.estimator.EvalSpec(eval_input_fn))
于 2018-07-11T09:36:31.200 回答
3

首先，您必须命名损失以使其可用于提前停止呼叫。如果您的损失变量在估计器中被命名为“损失”，则该行

copyloss = tf.identity(loss, name="loss")

就在它下面会起作用。

然后，使用此代码创建一个挂钩。

class EarlyStopping(tf.train.SessionRunHook):
    def __init__(self,smoothing=.997,tolerance=.03):
        self.lowestloss=float("inf")
        self.currentsmoothedloss=-1
        self.tolerance=tolerance
        self.smoothing=smoothing
    def before_run(self, run_context):
        graph = ops.get_default_graph()
        #print(graph)
        self.lossop=graph.get_operation_by_name("loss")
        #print(self.lossop)
        #print(self.lossop.outputs)
        self.element = self.lossop.outputs[0]
        #print(self.element)
        return tf.train.SessionRunArgs([self.element])
    def after_run(self, run_context, run_values):
        loss=run_values.results[0]
        #print("loss "+str(loss))
        #print("running average "+str(self.currentsmoothedloss))
        #print("")
        if(self.currentsmoothedloss<0):
            self.currentsmoothedloss=loss*1.5
        self.currentsmoothedloss=self.currentsmoothedloss*self.smoothing+loss*(1-self.smoothing)
        if(self.currentsmoothedloss<self.lowestloss):
            self.lowestloss=self.currentsmoothedloss
        if(self.currentsmoothedloss>self.lowestloss+self.tolerance):
            run_context.request_stop()
            print("REQUESTED_STOP")
            raise ValueError('Model Stopping because loss is increasing from EarlyStopping hook')

这会将指数平滑的损失验证与其最低值进行比较，如果容忍度更高，则停止训练。如果它停止得太早，提高容差和平滑会使它停止得更晚。保持平滑低于 1，否则它永远不会停止。

如果您想根据不同的条件停止，可以将 after_run 中的逻辑替换为其他内容。

现在，将此钩子添加到评估规范中。您的代码应如下所示：

eval_spec=tf.estimator.EvalSpec(input_fn=lambda:eval_input_fn(batchsize),steps=100,hooks=[EarlyStopping()])#

重要提示：函数 run_context.request_stop() 在 train_and_evaluate 调用中被破坏，并且不会停止训练。所以，我提出了一个价值错误来停止训练。因此，您必须将 train_and_evaluate 调用包装在 try catch 块中，如下所示：

try:
    tf.estimator.train_and_evaluate(classifier,train_spec,eval_spec)
except ValueError as e:
    print("training stopped")

如果你不这样做，当训练停止时代码将崩溃并出现错误。

于 2018-06-07T01:57:42.207 回答
2

是的，有tf.train.StopAtStepHook：

在执行了多个步骤或到达最后一步后，此挂钩请求停止。只能指定两个选项之一。

您还可以扩展它并根据步骤结果实施您自己的停止策略。

class MyHook(session_run_hook.SessionRunHook):
  ...
  def after_run(self, run_context, run_values):
    if condition:
      run_context.request_stop()
于 2017-11-06T12:34:18.287 回答
1

另一个不使用钩子的选项是创建一个tf.contrib.learn.Experiment（似乎，即使在 contrib 中，也支持 new tf.estimator.Estimator）。

continuous_train_and_eval然后通过适当定制的（显然是实验性的）方法进行训练continuous_eval_predicate_fn。

根据张量流文档，continuous_eval_predicate_fn是

确定是否在每次迭代后继续 eval 的谓词函数。

并eval_results从上次评估运行中调用。对于提前停止，使用自定义函数将当前最佳结果和计数器保持状态，并False在达到提前停止条件时返回。

补充说明：这种方法将使用 tensorflow 1.7 已弃用的方法（从该版本开始，所有 tf​​.contrib.learn 都已弃用：https ://www.tensorflow.org/api_docs/python/tf/contrib/learn ）

于 2018-02-17T15:51:07.913 回答