2

在训练时，我将 epoch 设置为迭代数据的次数。我想知道tf.data.Datasets.repeat(EPOCHS)当我已经可以做同样的事情时有什么用model.fit(train_dataset,epochs=EPOCHS)？

4

2 回答 2

1

它的工作方式略有不同。

让我们选择 2 个不同的例子。

  1. dataset.repeat(20) 和 model.fit(epochs=10)
  2. dataset.repeat(10) 和 model.fit(epochs=20)

我们还假设您有一个包含 100 条记录的数据集。

如果您选择选项 1，每个 epoch 将有 2,000 条记录。在通过您的模型传递 2,000 条记录后，您将“检查”模型的改进情况，您将这样做 10 次。

如果您选择选项 2，每个 epoch 将有 1,000 条记录。在推送 1,000 条记录后，您将评估模型的改进情况，您将这样做 20 次。

在这两个选项中，您将用于训练的记录总数是相同的，但您评估、记录等模型行为的“时间”是不同的。

于 2021-03-10T03:56:25.073 回答
0

tf.data.Datasets.repeat()tf.data.Datasets在图像数据的情况下可用于数据增强。

假设您想增加训练数据集中的图像数量，使用随机变换，然后重复训练数据集count时间并应用随机变换，如下所示

train_dataset = (
    train_dataset
    .map(resize, num_parallel_calls=AUTOTUNE)
    .map(rescale, num_parallel_calls=AUTOTUNE)
    .map(onehot, num_parallel_calls=AUTOTUNE)
    .shuffle(BUFFER_SIZE, reshuffle_each_iteration=True)
    .batch(BATCH_SIZE)
    .repeat(count=5)
    .map(random_flip, num_parallel_calls=AUTOTUNE)
    .map(random_rotate, num_parallel_calls=AUTOTUNE)
    .prefetch(buffer_size=AUTOTUNE)
)

如果没有 repeat() 方法，您必须创建数据集的副本，单独应用转换，然后连接数据集。但是使用repeat() 简化了这一点，还利用了方法链接并拥有一个整洁的代码。

有关数据增强的更多信息：https ://www.tensorflow.org/tutorials/images/data_augmentation#apply_augmentation_to_a_dataset

于 2021-04-06T15:32:15.330 回答