0

我创建了一个包含元素及其相应标签的 TFRecord 数据集文件。我想用它在 Colab 上使用免费的 TPU 训练模型。我可以加载 TFRecord 文件，甚至可以运行迭代器来查看内容，但是，在纪元开始之前，它会抛出以下错误-

UnimplementedError: From /job:worker/replica:0/task:0:
File system scheme '[local]' not implemented (file: '/content/gdrive/My Drive/data/encodeddata_inGZIP.tfrecord')
     [[{{node MultiDeviceIteratorGetNextFromShard}}]]
     [[RemoteCall]]
     [[IteratorGetNextAsOptional_1]]

据我了解，它需要 TPU 存储桶上的 TFRecord 文件，我不知道如何在 Colab 上执行此操作。如何直接在 Colab TPU 上使用 TFRecord 文件？

4

1 回答 1

1

您需要将其托管在 Google Cloud Storage 上：

所有输入文件和模型目录必须使用云存储桶路径（gs://bucket-name/...），并且该桶必须可从 TPU 服务器访问。请注意，所有数据处理和模型检查点都是在 TPU 服务器上执行的，而不是本地机器上。

正如谷歌的故障排除页面所述：https ://cloud.google.com/tpu/docs/troubleshooting#cannot_use_local_filesystem

希望这可以帮助！

于 2019-11-14T10:11:32.813 回答