1

我试图在我的本地机器上运行 gpt-2，因为谷歌限制了我的资源，因为我在 colab 中训练的时间太长了。

但是，我看不到如何加载数据集。在原始的 colab 笔记本https://colab.research.google.com/drive/1VLG8e7YSEwypxU-noRNhsv5dW4NfTGce中有我无法在本地计算机上使用的命令 gpt2.copy_file_from_gdrive()。

在 github存储库https://github.com/minimaxir/gpt-2-simple上，他们只是将文件 Shakespeare.txt 的名称提供给函数 gpt2.finetune 并且它以某种方式工作，但这对我不起作用。

帮助将不胜感激

4

1 回答 1

1

如果我在 GitHub 上正确阅读了该示例shakespeare.txt，它会在机器上存在时加载，如果不存在则下载。对于本地数据集，我只需将一个 txt 文件放在同一个文件夹中，然后在file_name =.

您应该能够删除周围的逻辑if not os.path.isfile(file_name):- 如果您使用本地文件，则不需要它。

于 2020-01-10T18:51:24.250 回答