问题标签 [gcsfuse]

我在本地 macOS 系统上安装了 gcsfuse，并将一个文件夹安装到云存储桶中。一切正常。

但是，如果从挂载的文件夹中删除了一个文件，也会在存储桶上删除。我不希望这种情况发生。

当我删除任何文件时，它应该只在我的本地机器上删除。

谁能帮我做。

谢谢。

我以前能够做到这一点，所以我知道它有效。无论如何，我运行了命令

然后我跑了

但什么都没有出现。该存储桶上有 3 个文件和 1 个文件夹。

更新

我还尝试运行 python os.listdir(path)，这就是我最终将使用的。但这最终没有产生任何结果。

我遇到的问题几乎和这个人一模一样

https://github.com/GoogleCloudPlatform/gcsfuse/issues/288

除了当他们解决问题时，他们没有提供足够的解决方案细节。我在 gcloud VM 实例上安装了一个存储桶，但我无法将文件写入存储桶。看来我的问题是我没有向 Google 提供我的身份验证凭据。我尝试将我在 Mac 上使用的凭据移到 Linux 计算机上，但到目前为止没有任何影响。这是确切的语法：

我已经使用 gcsfuse 成功安装了存储桶，并且可以从中读取文件，但是当我尝试向其中写入文件时，出现以下错误：

上述作者解决了这个问题

我很抱歉。你是对的。我误解了身份验证的工作原理。一旦我使用 gcloud auth login 一切都按预期工作。

但我无法理解他的意思。我认为这与这个模块有关：

但我无法弄清楚如何处理该模块。顺便说一句，我的挂载点是：

我正在使用一个 gcloud 存储桶，该存储桶安装到一个带有gcsfuse. 当文件存储在存储桶上时，打开文件和读取它们没有问题，但是当我尝试将文件写入存储桶时，速度非常慢，当我说“非常”时，我的意思是如果不是，至少慢 10 倍100 次。应该是这样吗？如果是这样，我想我将不得不将文件写入永久磁盘，然后将文件上传到存储桶，然后将文件从存储桶下载到我的个人计算机。虽然这个过程会花费同样多的时间，但至少不会出现心理上的挫败感。

我试图弄清楚为什么我不需要执行此步骤

那为什么我不能写入文件；我不断收到以下错误：

我正在使用 Ubuntu（在 Windows App Store 上）。

甚至运行：

有一个错误：

I'm used to running pipelines via AWS data pipelines but getting familiar with Airflow (Cloud Composer).

In data pipelines we would:

• Spawn a task runner,
• Bootstrap it,
• Do work,
• Kill the task runner.

I just realized that my airflow runners are not ephemeral. I touched a file in /tmp, did it again in a separate DagRun, then listed /tmp and found two files. I expected only the one I most recently touched.

This seems to mean I need to watch out how much "stuff" is being stored locally on the runner.

I know GCS mounts the /data folder with FUSE so I'm defaulting to storing a lot of my working files there, and moving files from there to final buckets elsewhere, but how do you approach this? What would be "best practice"?

Thanks for the advice.

如果可以的话请帮忙！我有很多单独的图像存储在谷歌存储桶中。我想通过 google colab 从存储桶中检索单个图像。我已经通过 gcsfuse 建立了连接，但仍然无法访问图像。

我努力了：

没有一个有效，我很困惑。

io.imread 返回“无”

file_io.FileIO 返回“tensorflow.python.lib.io.file_io.FileIO at 0x7fb7e075e588”，我不知道该怎么办。

tf.io.read_file 返回一个空张量。

（我实际上使用的是 PyTorch，而不是 Tensorflow，但经过一些谷歌搜索后，似乎 TensorFlow 可能有答案。）

所以我有两个单独的帐户，我在它们之间共享一个 gcloud 存储桶。起初我在正确获取凭据时遇到问题，但最终我只是将第二个帐户的 IAM 下的所有看起来像电子邮件的帐户添加到存储桶权限中。我为这些帐户赋予了所有角色，因为我希望能够从两个帐户 vm 实例中读取和写入。此时我可以使用 gcsfuse 挂载，但我无法读取或写入它？我可以看到文件系统，但无论何时我尝试从或复制到我都会收到输入/输出错误？

我有一个项目，我使用谷歌计算引擎来托管我的应用程序和 docker 来容器化它。

我有一个 postgres 映像，我想在重新启动容器时使用一个卷来使我的数据持久化。此外，我希望将数据库数据存储在谷歌存储中。所以我有一个谷歌存储桶，我已经在我的谷歌计算引擎中安装了一个目录到这个存储桶。具体来说，我所做的是mkdir /home/vetter_leo/datadata 是我想用作卷的文件夹，然后我使用gcsfuse --dir-mode 777 --file-mode 777 -o allow_other --implicit-dirs artifacts.helenos-273112.appspot.com /home/vetter_leo/data/.

我的 postgres 图像的 dockerfile 是这样的：

我的 docker-compose 文件是这样的：

这样做时，docker-compose -f docker-compose.yml up -d --build我最终没有启动容器并显示此错误chmod: changing permissions of '/var/lib/postgresql/data/pgdata': Operation not permitted。

我已经在网上搜索过，但到目前为止我还没有找到解决我的问题的方法。任何帮助将不胜感激。谢谢。

我想从 Colab 访问我的 GCP 存储桶中的文件。我遵循了这些说明

从屏幕截图中可以看出，安装后文件夹中没有任何内容。我错过了什么？我存储桶中的 Data 文件夹充满了数据。