22

所以我的问题是安装时有一些文件没有显示在 gcsfuse 中。我在在线控制台中看到它们，如果我使用 gsutils 'ls'。另外，如果我在存储桶中手动创建文件夹，我可以看到其中的文件，但我需要先创建它。有什么建议么？

gs://mybucket/ dir1/ ok.txt dir2 lafu.txt

如果我用 gcsfuse 安装 mybucket 并执行“ls”，它只会返回 dir1/ok.txt。然后我将在挂载点的根目录下的 dir1 中创建文件夹 dir2，然后突然出现“lafu.txt”。

4

3 回答 3

31

默认情况下，gcsfuse 不会显示由名称中带有斜杠的文件“隐式”定义的目录。例如，如果您的存储桶包含一个名为 的对象dir/foo.txt，则除非还有一个名为 的对象，否则您将无法找到它dir/。

您可以通过设置标志来解决此问题--implicit-dirs，但有充分的理由说明这不是默认设置。有关更多信息，请参阅文档。

于 2016-07-12T03:51:00.520 回答
5

Google Cloud Storage 没有文件夹。各种接口使用不同的技巧来假装文件夹存在，但最终只有一个名称包含一堆斜杠的对象。例如，“pictures/january/0001.jpg”是单个对象的全名。

如果您需要确保存在“文件夹”，请在其中放置一个对象。

于 2016-07-11T16:05:26.423 回答
0

@Brandon Yarbrough 建议在 GCS 存储桶中创建所需的目录条目。这避免了@jacobsa 描述的性能损失。

这是bash执行此操作的脚本：

# 1.  Mount $BUCKET_NAME at $MOUNT_PT
# 2.  Run this script
MOUNT_PT=${1:-HOME/mnt}
BUCKET_NAME=$2
DEL_OUTFILE=${3:-y}    # Set to y or n

echo "Reading objects in $BUCKET_NAME"
OUTFILE=dir_names.txt
gsutil ls -r gs://$BUCKET_NAME/** | while read BUCKET_OBJ
do   
    dirname "$BUCKET_OBJ"
done | sort -u > $OUTFILE
echo "Processing directories found"
cat $OUTFILE | while read DIR_NAME
do
    LOCAL_DIR=`echo "$DIR_NAME" | sed "s=gs://$BUCKET_NAME/==" | sed "s=gs://$BUCKET_NAME=="`
    #echo $LOCAL_DIR
    TARG_DIR="$MOUNT_PT/$LOCAL_DIR"
    if ! [ -d "$TARG_DIR" ]
    then
        echo "Creating $TARG_DIR"
        mkdir -p "$TARG_DIR"
    fi
done
if [ $DEL_OUTFILE = "y" ]
then
    rm $OUTFILE
fi
echo "Process complete"

我编写了这个脚本，并在https://github.com/mherzog01/util/blob/main/sh/mk_bucket_dirs.sh上分享了它。

此脚本假定您已在 Linux（或类似）系统上本地安装了 GCS 存储桶。该脚本首先指定 GCS 存储桶和存储桶的安装位置。然后，它会识别 GCS 存储桶中本地不可见的所有“目录”，并创建它们。

这（对我而言）解决了文件夹（和相关对象）未显示在已安装文件夹结构中的问题。

于 2020-10-27T19:02:23.820 回答