4

我正在尝试将小批量的 numpy 数组提供给我的模型，但我坚持使用批处理。使用 'tf.train.shuffle_batch' 会引发错误，因为 'images' 数组大于 2 GB。我试图绕过它并创建占位符，但是当我尝试提供数组时，它们仍然由 tf.Tensor 对象表示。我主要担心的是我在模型类下定义了操作，并且在运行会话之前不会调用对象。有谁知道如何处理这个问题？

def main(mode, steps):
  config = Configuration(mode, steps)



  if config.TRAIN_MODE:

      images, labels = read_data(config.simID)

      assert images.shape[0] == labels.shape[0]

      images_placeholder = tf.placeholder(images.dtype,
                                                images.shape)
      labels_placeholder = tf.placeholder(labels.dtype,
                                                labels.shape)

      dataset = tf.data.Dataset.from_tensor_slices(
                (images_placeholder, labels_placeholder))

      # shuffle
      dataset = dataset.shuffle(buffer_size=1000)

      # batch
      dataset = dataset.batch(batch_size=config.batch_size)

      iterator = dataset.make_initializable_iterator()

      image, label = iterator.get_next()

      model = Model(config, image, label)

      with tf.Session() as sess:

          sess.run(tf.global_variables_initializer())

          sess.run(iterator.initializer, 
                   feed_dict={images_placeholder: images,
                          labels_placeholder: labels})

          # ...

          for step in xrange(steps):

              sess.run(model.optimize)
4

1 回答 1

2

您正在使用可初始化的迭代器将tf.Data数据提供给您的模型。这意味着您可以根据占位符对数据集进行参数化，然后为迭代器调用初始化操作以准备使用。

如果您使用可初始化迭代器或任何其他迭代器 fromtf.Data向模型提供输入，则不应使用feed_dict参数 ofsess.run尝试进行数据馈送。相反，根据 的输出定义您的模型iterator.get_next()并省略feed_dictfrom sess.run。

这些方面的东西：

iterator = dataset.make_initializable_iterator()
image_batch, label_batch = iterator.get_next()

# use get_next outputs to define model
model = Model(config, image_batch, label_batch) 

# placeholders fed in while initializing the iterator
sess.run(iterator.initializer, 
            feed_dict={images_placeholder: images,
                       labels_placeholder: labels})

for step in xrange(steps):
     # iterator will feed image and label in the background
     sess.run(model.optimize)

迭代器将在后台将数据馈送到您的模型，feed_dict不需要额外的馈送。

于 2018-03-01T16:26:14.217 回答