56

我目前正在这样做,但它非常慢,因为我在存储桶中有几 TB 的数据:

gsutil du -sh gs://my-bucket-1/

对于子文件夹也是如此:

gsutil du -sh gs://my-bucket-1/folder

是否有可能以某种方式在其他地方或以其他更快的方式获得完整存储桶(或子文件夹)的总大小?

4

6 回答 6

30

谷歌存储在这里的可见性非常糟糕

最快的方法实际上是提取堆栈驱动程序指标并查看总大小(以字节为单位): 在此处输入图像描述

不幸的是,您几乎无法在 stackdriver 中进行过滤。您不能通配存储桶名称,并且几乎无用的存储桶资源标签在堆栈驱动程序指标中不可聚合

这也只是存储桶级别 - 不是前缀

SD 指标每天更新,因此除非您可以等待一天,否则您现在无法使用它来获取当前大小

更新:堆栈驱动程序指标现在支持用户元数据标签,因此您可以标记您的 GCS 存储桶并通过您应用的自定义标签聚合这些指标。

于 2019-01-30T22:47:55.850 回答
24

抱歉不行。如果您现在需要知道存储桶的大小,没有比您正在做的更快的方法了。

如果您需要定期检查这一点,您可以启用存储桶日志记录。Google Cloud Storage 将生成每日存储日志,您可以使用它来检查存储桶的大小。如果这有用,您可以在此处阅读更多信息:https ://cloud.google.com/storage/docs/accesslogs#delivery

于 2014-12-09T09:45:47.797 回答
15

如果您通过启用存储桶日志记录(根据 Brandon 的建议)获得的每日存储日志对您不起作用,那么您可以做的一件事来加快速度,那就是对 du 请求进行分片。例如,您可以执行以下操作:

gsutil du -s gs://my-bucket-1/a* > a.size &
gsutil du -s gs://my-bucket-1/b* > b.size &
...
gsutil du -s gs://my-bucket-1/z* > z.size &
wait
awk '{sum+=$1} END {print sum}' *.size

(假设您的子文件夹以英文字母开头;如果不是;您需要调整运行上述命令的方式)。

于 2014-12-09T15:26:11.827 回答
3

使用内置仪表板操作 -> 监控 -> 仪表板 -> 云存储

底部的图表显示了所有存储桶的存储桶大小,或者您可以选择单个存储桶进行深入分析。

对象大小图

于 2021-10-12T20:12:26.427 回答
1

对我来说,以下命令有帮助:

gsutil ls -l gs://{bucket_name}

然后在列出所有文件后给出如下输出:

TOTAL: 6442 objects, 143992287936 bytes (134.1 GiB)
于 2021-10-07T20:20:15.217 回答
1

我发现使用 CLI 它经常超时。但是当我正在审查冷线存储时,我就是这样。

对于 GUI 解决方案。看看Cloudberry Explorer

存储的 GUI 视图

于 2019-01-17T17:41:45.027 回答