0

我正在尝试在运行 Ubuntu 18.04 的虚拟机中从我的 Google 存储下载一个大型数据集,但我的下载中途停止。我正在使用命令:

gsutil cp -r gs://my-storage-bucket/dataset1 /home/user/data

我设法下载了一个较小的数据集,但这个数据集的大小接近 4 GB,但每次它只是在 1.1 GB 时停止下载。首先 MB/S 下降,然后停止在 0.0 MB/S。

我已经增加了 VM 的磁盘大小,但这也无济于事。我删除了位于我的文件夹中的文件,该文件确保尽可能恢复下载,因为它不起作用。

有什么建议么?

4

1 回答 1

1

它会以 0.0MB/s 的速度停止并且不会出错吗?您可以尝试使用以下命令再次复制它吗?

gsutil \
-o "GSUtil:parallel_thread_count=1" \
-o "GSUtil:sliced_object_download_max_components=8" \
cp gs://my-storage-bucket/dataset1 /home/user/data

基本上,将两个参数传递给 gsutil 以设置切片对象的线程数和最大组件。

参考:https ://cloud.google.com/storage/docs/gsutil/commands/cp

于 2021-07-28T17:53:44.717 回答