4

我想在训练集（is_training=True）和验证集（is_training=False）上运行给定的模型，特别是如何dropout应用。现在，预建模型公开了一个参数is_training，该参数在构建网络时传递给该dropout层。问题是，如果我用不同的值调用该方法两次is_training，我将得到两个不共享权重的不同网络（我认为？）。如何让两个网络共享相同的权重，以便我可以运行我在验证集上训练过的网络？

4

3 回答 3

1

我用你的评论写了一个解决方案，在训练和测试模式下使用 Overfeat。（我无法对其进行测试，因此您可以检查它是否有效？）

首先是一些导入和参数： 

import tensorflow as tf
slim = tf.contrib.slim
overfeat = tf.contrib.slim.nets.overfeat

batch_size = 32
inputs = tf.placeholder(tf.float32, [batch_size, 231, 231, 3])
dropout_keep_prob = 0.5
num_classes = 1000

在训练模式下，我们将正常范围传递给函数overfeat：

scope = 'overfeat'
is_training = True

output = overfeat.overfeat(inputs, num_classes, is_training,         
                           dropout_keep_prob, scope=scope)

然后在测试模式下，我们创建相同的范围，但使用reuse=True.

scope = tf.VariableScope(reuse=True, name='overfeat')
is_training = False

output = overfeat.overfeat(inputs, num_classes, is_training,         
                           dropout_keep_prob, scope=scope)
于 2016-09-08T09:58:08.217 回答
0

视情况而定，解决方案不同。

我的第一个选择是使用不同的流程进行评估。您只需要检查是否有一个新的检查点并将该权重加载到评估网络中（使用is_training=False）：

checkpoint = tf.train.latest_checkpoint(self.checkpoints_path)
# wait until a new check point is available
while self.lastest_checkpoint == checkpoint:
    time.sleep(30)  # sleep 30 seconds waiting for a new checkpoint
    checkpoint = tf.train.latest_checkpoint(self.checkpoints_path)
logging.info('Restoring model from {}'.format(checkpoint))
self.saver.restore(session, checkpoint)
self.lastest_checkpoint = checkpoint

第二个选项是在每个 epoch 之后卸载图表并创建一个新的评估图表。该解决方案浪费了大量时间加载和卸载图表。

第三种选择是共享权重。但是为这些网络提供队列或数据集可能会导致问题，因此您必须非常小心。我只将它用于连体网络。

with tf.variable_scope('the_scope') as scope:
    your_model(is_training=True)
    scope.reuse_variables()
    your_model(is_training=False)
于 2017-09-27T06:42:58.543 回答
0

您可以只为 is_training 使用占位符：

isTraining = tf.placeholder(tf.bool)

# create nn
net = ...
net = slim.dropout(net,
                   keep_prob=0.5,
                   is_training=isTraining)
net = ...

# training
sess.run([net], feed_dict={isTraining: True})

# testing
sess.run([net], feed_dict={isTraining: False})
于 2017-03-01T14:29:08.550 回答