google-drive-api - 我的 Google Colab 笔记本没有使用我的 2TB Google 云端硬盘空间

Question

我的 Google Drive 帐户上有 2TB 的存储空间。

我想将它们与 Cloud Colab（GPU Python 3）一起使用。

我已经安装了 Drive 空间，但我仍然坚持使用 ~69GB 的 Colab Storage。

（参考：https ://stackoverflow.com/a/59513316/9726037 ）

(1) 安装驱动空间

WORKSPACE_PATH = 'ml/'

drive.mount('/content/drive/', force_remount=True)
ROOT_DIR  = '/content/drive/My Drive/science'
BASE_DIR  = os.path.join(ROOT_DIR, WORKSPACE_PATH)

输出：安装在 /content/drive/

(2) 从 GCS 下载了大约 40GB 的数据：

bucker_name = 'my_bucket_name'
!gsutil -m cp gs://{bucket_name}/* 'path_to_my_mounted_drive'

输出：

Copying gs://xxx/test.h5...
Copying gs://xxx/train.h5...
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device
[Errno 28] No space left on device

当我检查 colab 存储可用空间时：我只有 3GB/69GB，而不是 2 TB...

我做错了什么？

Answer 1

据我了解，安装驱动器后，它需要缓存 Google Drive 中的数据。即使你在 GDrive 上有 2TB，你仍然会有和以前一样的限制，因为需要复制和缓存数据。

因此，您可能需要复制一部分，将其删除，然后复制下一部分。这可能会慢一些。