0

尽管 Google Cloud Storage 是一个不需要目录条目的平面对象存储,但添加伪目录占位符(名称以 结尾的空条目/会使 gcsfuse 更快。您可以省略 gcsfuse --implicit-dirs选项并以非常可行的性能浏览您的 GCS 目录,如果没有占位符则情况并非如此。

问:有没有办法向gsutil发出命令,这样gsutil cp -r your_directory gs://your-bucket/会在上传文件时创建目录占位符?

另一种方法是调用 GCS API,但 gsutil 有很多有用的功能,包括并行上传和重试处理。

例子

制作本地树:

$ mkdir -p your_directory/subdir
$ echo hi > your_directory/hi.txt
$ echo there > your_directory/subdir/there.txt

$ ls -lR your_directory
total 8
-rw-r--r--  1 jerry  staff   3 Jan 21 17:24 hi.txt
drwxr-xr-x  3 jerry  staff  96 Jan 21 17:24 subdir/

your_directory/subdir:
total 8
-rw-r--r--  1 jerry  staff  6 Jan 21 17:24 there.txt

gsutil将其复制到 GCS:

$ gsutil cp -r your_directory gs://your-bucket/
Copying file://your_directory/hi.txt [Content-Type=text/plain]...
Copying file://your_directory/subdir/there.txt [Content-Type=text/plain]...
/ [2 files][    9.0 B/    9.0 B]
Operation completed over 2 objects/9.0 B.

$ gsutil ls -lr gs://your-bucket/your_directory
gs://your-bucket/your_directory/:
         3  2020-01-22T01:25:38Z  gs://your-bucket/your_directory/hi.txt

gs://your-bucket/your_directory/subdir/:
         6  2020-01-22T01:25:38Z  gs://your-bucket/your_directory/subdir/there.txt
TOTAL: 2 objects, 9 bytes (9 B)

请注意,gsutil只创建了 2 个对象(blob)——文本文件。它没有创建目录占位符 blobyour_directory/your_directory/subdir/.

gcsfuse your-bucket your-bucket坐骑中:

$ find your_directory
find: your_directory: No such file or directory

gcsfuse --implicit-dirs your-bucket your-bucket坐骑中:

$ find your_directory
your_directory
your_directory/hi.txt
your_directory/subdir
your_directory/subdir/there.txt

慢慢地。

回到gcsfuse your-bucket your-bucket挂载,我们可以通过创建目录占位符来显示文本文件:

$ mkdir your_directory
$ ls your_directory
hi.txt

$ mkdir your_directory/subdir
$ ls your_directory
hi.txt  subdir/

$ ls your_directory/subdir/
there.txt
4

1 回答 1

-1

如果我理解正确并且您想在创建看似空的文件夹时上传文件(在后台只是路径末尾带有“/”的空文件),gsutil cp -r your_directory gs://your-bucket/那么就可以了。

供参考的是子目录在 GCSgsutil cp 命令中的工作方式

于 2020-01-20T16:44:24.207 回答