13

我正在遵循TensorFlow Retraining for Poets 的说明。GPU 利用率似乎很低，因此我retrain.py按照Using GPU中的说明对脚本进行了检测。日志验证 TF 图是在 GPU 上构建的。我正在为大量的课程和图像进行再培训。 请帮我调整 TF 和再训练脚本中的参数以利用 GPU。

我知道这个问题，我应该减少批量大小。这个脚本的“批量大小”由什么构成并不明显。我有 60 个类和 1MM 训练图像。首先制作 1MM 的瓶颈文件。那部分是 CPU 和慢，我明白这一点。然后它以 4,000 个步骤进行训练，在该步骤中每次拍摄 100 张图像。这是批次吗？如果我减少每一步的图像数量，GPU 利用率会上升吗？

您的帮助将不胜感激！

4

2 回答 2

4

我通常做下面的事情。

  1. 检查您是否使用 GPU。

    tf.test.is_gpu_available()

  2. 监控 GPU 使用情况。

    watch -n 0.1 nvidia-smi

  3. 如果你的 CPU 使用率很低。之后写这个

    train_batches = train.shuffle(SHUFFLE_BUFFER_SIZE).batch(BATCH_SIZE)

train_batches = train_batches.prefetch(1) #  This will prefetch one batch

  4. 如果您的 GPU 使用率仍然很低。

    batch_size = 128

  5. 如果你的 GPU 仍然很低。或许：

    • 您的图表太简单，无法使用更多 GPU。
    • 代码错误或包错误。
于 2020-06-17T08:31:17.343 回答
3

让我们一一解答您的问题：

  1. 批量大小是一次完成训练/测试/验证的图像数量。您可以找到脚本中定义的相应参数及其默认值：
  parser.add_argument(
      '--train_batch_size',
      type=int,
      default=100,
      help='How many images to train on at a time.'
  )
  parser.add_argument(
      '--test_batch_size',
      type=int,
      default=-1,
      help="""\
      How many images to test on. This test set is only used once, to evaluate
      the final accuracy of the model after training completes.
      A value of -1 causes the entire test set to be used, which leads to more
      stable results across runs.\
      """
  )
  parser.add_argument(
      '--validation_batch_size',
      type=int,
      default=100,
      help="""\
      How many images to use in an evaluation batch. This validation set is
      used much more often than the test set, and is an early indicator of how
      accurate the model is during training.
      A value of -1 causes the entire validation set to be used, which leads to
      more stable results across training iterations, but may be slower on large
      training sets.\
      """
  )

因此，如果您想减少训练批量大小，您应该使用以下参数运行脚本：

python -m retrain --train_batch_size=16

我还建议您将批量大小的数量指定为 2 的幂（16、32、64、128，...）。这个数字取决于您使用的 GPU。GPU 的内存越少，您应该使用的批处理大小就越小。在 GPU 中使用 8Gb，您可以尝试 16 的批量大小。

  1. 要发现您是否在使用 GPU，您可以按照您提到的 Tensorflow 文档中的步骤进行操作- 只需 输入tf.debugging.set_log_device_placement(True)

作为脚本的第一条语句。

设备放置日志记录会导致打印任何张量分配或操作。

于 2020-06-16T21:28:34.513 回答