21

TensorFlow 构建了一种存储数据的好方法。例如,这用于存储示例中的 MNIST 数据:

>>> mnist
<tensorflow.examples.tutorials.mnist.input_data.read_data_sets.<locals>.DataSets object at 0x10f930630>

假设有一个输入和输出 numpy 数组。

>>> x = np.random.normal(0,1, (100, 10))
>>> y = np.random.randint(0, 2, 100)

如何在tf数据集中转换它们?

我想使用类似的功能next_batch

4

3 回答 3

9

Dataset 对象只是 MNIST 教程的一部分,而不是主要的 TensorFlow 库。

您可以在此处查看它的定义位置:

GitHub 链接

构造函数接受一个图像和标签参数,所以大概你可以在那里传递你自己的值。

于 2015-12-18T17:47:13.247 回答
2

最近,Tensorflow 在其数据集 api 中添加了一个功能来使用 numpy 数组。有关详细信息,请参见此处

这是我从那里复制的片段:

# Load the training data into two NumPy arrays, for example using `np.load()`.
with np.load("/var/data/training_data.npy") as data:
  features = data["features"]
  labels = data["labels"]

# Assume that each row of `features` corresponds to the same row as `labels`.
assert features.shape[0] == labels.shape[0]

features_placeholder = tf.placeholder(features.dtype, features.shape)
labels_placeholder = tf.placeholder(labels.dtype, labels.shape)

dataset = tf.data.Dataset.from_tensor_slices((features_placeholder, labels_placeholder))
# [Other transformations on `dataset`...]
dataset = ...
iterator = dataset.make_initializable_iterator()

sess.run(iterator.initializer, feed_dict={features_placeholder: features,
                                          labels_placeholder: labels})
于 2018-04-12T21:52:04.590 回答
0

作为替代方案,您可以使用该功能tf.train.batch()创建一批数据,同时消除使用tf.placeholder. 有关更多详细信息,请参阅文档。

>>> images = tf.constant(X, dtype=tf.float32) # X is a np.array
>>> labels = tf.constant(y, dtype=tf.int32)   # y is a np.array
>>> batch_images, batch_labels = tf.train.batch([images, labels], batch_size=32, capacity=300, enqueue_many=True)
于 2017-11-04T14:42:17.817 回答