python - 谷歌 colab TPU 和在训练时从光盘读取

Question

我有 10 万张照片，但它不适合 ram，所以我需要在训练时从光盘中读取它。

dataset = tf.data.Dataset.from_tensor_slices(in_pics)
dataset = dataset.map(extract_fn)

def extract_fn(x):
    x = tf.read_file(x)
    x = tf.image.decode_jpeg(x, channels=3)
    x = tf.image.resize_images(x, [64, 64])
return x

但是后来我尝试训练，我得到了这个错误

File system scheme '[local]' not implemented (file: '/content/anime-faces/black_hair/danbooru_2629248_487b383a8a6e7cc0e004383300477d66.jpg')

我可以以某种方式解决它吗？也尝试使用 TFRecords API，得到同样的错误。

Answer 1

您在此方案中使用的 Cloud TPU 未位于运行 python 的同一 VM 上。最简单的方法是在 GCS 上暂存您的数据并使用 gs:// URI 将 TPU 指向它。

要在使用 GCS 时优化性能，请添加prefetch(AUTOTUNE)到您的 tf.data 管道，对于小型 (<50GB) 数据集，请使用cache().