我正在遵循本指南。
它展示了如何使用以下方法从新的 TensorFlow 数据集中下载数据集tfds.load()
:
import tensorflow_datasets as tfds
SPLIT_WEIGHTS = (8, 1, 1)
splits = tfds.Split.TRAIN.subsplit(weighted=SPLIT_WEIGHTS)
(raw_train, raw_validation, raw_test), metadata = tfds.load(
'cats_vs_dogs', split=list(splits),
with_info=True, as_supervised=True)
接下来的步骤展示了如何使用 map 方法将函数应用于数据集中的每个项目:
def format_example(image, label):
image = tf.cast(image, tf.float32)
image = image / 255.0
# Resize the image if required
image = tf.image.resize(image, (IMG_SIZE, IMG_SIZE))
return image, label
train = raw_train.map(format_example)
validation = raw_validation.map(format_example)
test = raw_test.map(format_example)
然后访问我们可以使用的元素:
for features in ds_train.take(1):
image, label = features["image"], features["label"]
或者
for example in tfds.as_numpy(train_ds):
numpy_images, numpy_labels = example["image"], example["label"]
但是,该指南没有提及有关数据增强的任何内容。我想使用类似于 Keras 的 ImageDataGenerator 类的实时数据增强。我尝试使用:
if np.random.rand() > 0.5:
image = tf.image.flip_left_right(image)
和其他类似的增强功能,format_example()
但是,我如何验证它正在执行实时增强而不是替换数据集中的原始图像?
batch_size=-1
我可以通过传递到tfds.load()
然后使用将完整的数据集转换为 Numpy 数组,tfds.as_numpy()
但是,这会将所有不需要的图像加载到内存中。我应该能够train = train.prefetch(tf.data.experimental.AUTOTUNE)
为下一个训练循环加载足够的数据。