尽管 Google Cloud Storage 是一个不需要目录条目的平面对象存储,但添加伪目录占位符(名称以 结尾的空条目/
)会使 gcsfuse 更快。您可以省略 gcsfuse --implicit-dirs
选项并以非常可行的性能浏览您的 GCS 目录,如果没有占位符则情况并非如此。
问:有没有办法向gsutil发出命令,这样gsutil cp -r your_directory gs://your-bucket/
会在上传文件时创建目录占位符?
另一种方法是调用 GCS API,但 gsutil 有很多有用的功能,包括并行上传和重试处理。
例子
制作本地树:
$ mkdir -p your_directory/subdir
$ echo hi > your_directory/hi.txt
$ echo there > your_directory/subdir/there.txt
$ ls -lR your_directory
total 8
-rw-r--r-- 1 jerry staff 3 Jan 21 17:24 hi.txt
drwxr-xr-x 3 jerry staff 96 Jan 21 17:24 subdir/
your_directory/subdir:
total 8
-rw-r--r-- 1 jerry staff 6 Jan 21 17:24 there.txt
gsutil
将其复制到 GCS:
$ gsutil cp -r your_directory gs://your-bucket/
Copying file://your_directory/hi.txt [Content-Type=text/plain]...
Copying file://your_directory/subdir/there.txt [Content-Type=text/plain]...
/ [2 files][ 9.0 B/ 9.0 B]
Operation completed over 2 objects/9.0 B.
$ gsutil ls -lr gs://your-bucket/your_directory
gs://your-bucket/your_directory/:
3 2020-01-22T01:25:38Z gs://your-bucket/your_directory/hi.txt
gs://your-bucket/your_directory/subdir/:
6 2020-01-22T01:25:38Z gs://your-bucket/your_directory/subdir/there.txt
TOTAL: 2 objects, 9 bytes (9 B)
请注意,gsutil
只创建了 2 个对象(blob)——文本文件。它没有创建目录占位符 blobyour_directory/
或your_directory/subdir/
.
在gcsfuse your-bucket your-bucket
坐骑中:
$ find your_directory
find: your_directory: No such file or directory
在gcsfuse --implicit-dirs your-bucket your-bucket
坐骑中:
$ find your_directory
your_directory
your_directory/hi.txt
your_directory/subdir
your_directory/subdir/there.txt
慢慢地。
回到gcsfuse your-bucket your-bucket
挂载,我们可以通过创建目录占位符来显示文本文件:
$ mkdir your_directory
$ ls your_directory
hi.txt
$ mkdir your_directory/subdir
$ ls your_directory
hi.txt subdir/
$ ls your_directory/subdir/
there.txt