0

所以我尝试训练一个自动编码器模型，但在 Google Drive 中提取大的 zipfile 和 rarfile 时遇到了困难。它是一个3GB包含 500 个图像目录的 zip 文件和一个5GB包含 170 万个图像的 rarfile。

我尝试在 Colab 中运行此代码，它在 6 小时后完成了提取我的 3 GB zip 文件。

!unzip -q drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/syn_train_3.zip -d drive/"My Drive"/"Colab Notebooks"/"Dataset"/"Dataset_Final_500"/

但是当我检查时，它只在我的谷歌驱动器中创建了 500 个目录中的86 个。为什么会发生，我如何继续而不重新提取它。关于将我的 5GB rarfile 提取到谷歌驱动器的任何想法？

任何帮助都是一种祝福:)

4

1 回答 1

0

正如@BobSmith 所说，我首先将我的所有数据集移动到 google colab 的本地磁盘并使用以下方法提取所有数据集：

!unzip -u -q /content/syn_train_3.zip

对于 rar 使用 unrar

!unrar e real_train_500_2.rar train_dir

提取被证明更快。我将数据集拆分为 .npy 文件并再次将其保存到驱动器中。

我发现 Google Colab在您的桌面上使用Google Drive File Stream，例如Backup and Sync 。等待 Colab 和 Drive 之间同步的数据集会很痛苦。

小心，不要让"/drive/My Drive"Google Colab 中的软件欺骗您，它已经保存到 Google Drive，它需要时间来同步！

于 2020-03-13T08:57:15.583 回答