问题标签 [gcsfuse]

我正在尝试dir使用gcsfuse. 我正在使用 Debian 拉伸图像，并且无法使用该fuse软件包。

我试图通过 git repo 安装fuse以及apt-get从源代码构建。两者都有各自的问题。

1：apt-get收到fuse安装成功的提示后。

但是在运行时modprobe fuse（在 gcsfuse 挂载尝试期间失败）：

2：使用tar.gzfrom source 时，meson只能作为 version 使用0.37，而libfuse需要 meson >0.38才能正确构建（从早期版本）。

这是我的 Dockerfile：

我想modprobe fuse实际工作，或者想了解如何以通过 modprobe 识别包的方式构建 fuse/modprobe。

谢谢！

我需要在谷歌云作曲家中使用容器gcsfuse，据我所知--privileged，在运行容器时需要标志，在谷歌云作曲家中使用 pod 运算符运行容器时gcsfuse如何使用--privileged标志？kubernetes

我正在寻找一种将一些 .mp4 视频文件（因为它们是由某些 python 应用程序生成的）“写入流”到谷歌云存储桶的方法。python 应用程序已容器化并部署在 GKE 中，目前可以作为 Web 服务正常执行。但问题是所有视频文件都是在本地生成并存储在tmp/processedpod 内的路径 ( ) 中。

但是，我希望将视频文件写入谷歌存储桶中名为my_bucket.

我已阅读gcsfuse指南 ( https://github.com/maciekrb/gcs-fuse-sample ) 关于如何在 Kubernetes pod 中安装存储桶并阅读有关boto ( https://cloud.google.com/storage/docs /boto-plugin#streaming-transfers）用于将流传输到存储桶。

为了挂载my_bucket，tmp/processed我在我的应用程序的部署文件 (YAML) 中添加了以下几行：

我还没用过boto，我想也许只是安装就足够了！但是，我的应用程序在尝试生成视频文件时给了我输入/输出错误。

现在我的问题是我是否需要同时使用gcsfuse和boto，或者只需将存储桶安装在我的 GKE pod 中就足够了？我安装对了吗？

更新：我验证我使用以下命令正确安装：

kubectl exec -it [POD_NAME] bash

我正在开发一个 Google Compute 实例 (Ubuntu)，之前曾成功使用 GCSfuse 实用程序将存储桶挂载到本地挂载点。

今天我再次这样做，并收到以下输出：

我运行了命令gsutil ls，存储桶在返回的列表中清晰可见。我对存储桶的拼写进行了两次和三次检查，但找不到问题。

通过运行 GCFS 应用程序时papermill[gcs]

我收到错误：HTTP 429 超出了速率限制。

如果输出笔记本是在本地编写的，则有效：

本地文件大小为：57K

造纸厂代码：https ://github.com/nteract/papermill/blob/master/papermill/iorw.py#L258

如何重现？

日志：

我已经定义了：

在 MacOS 环境中我得到类似的错误：（添加调试）

我正在尝试使用gcsfuse. 似乎某些存储桶正确显示了它们的内容，而其他存储桶则没有，除非--implicit-dirs在挂载中使用了选项，例如：

或者将以下内容添加到/etc/fstabVM 上的 fstab ( ) 中：

对于需要的存储桶，--implicit-dirs访问已安装存储桶上的数据的延迟太慢而无法使用。我计划在 fstab 中添加几个条目来挂载存储桶，并且我了解存储桶之间的差异可能与对象添加到存储桶的方式有关。

将其挂载为文件系统可以简化现有应用程序的集成要求，因此我想首先探讨是否可以自动“修复”需要--implicit-dirs参数的存储桶，或者探索其他不受影响的挂载选项从延迟问题。如果将其安装为文件系统不起作用，那么我将不得不为 GCS API 编写自定义代码，但我想在采取该路线之前探索其他选项。

是否有人对是否可以将其作为文件系统挂载来执行此操作而不会遇到延迟问题有任何见解/建议？或者，是否有一种简单的方法可以“修复”没有参数就无法工作的存储桶--implicit-dirs？我是 GCS 的新手，所以任何见解/建议将不胜感激。

我正在尝试从标记的 Google Streeview 数据中对大量作物训练 resnet18 图像分类器。我正在跟随本教程。我有两个数据集，一个大约 20k 图像，一个大约 100k 图像。两个数据集都以相同的格式存储，并且都已上传到各自的 Google Cloud Storage 存储桶。gcsfuse然后，我使用--implicit-dirs标志将这两个存储桶安装在我的 VM 的主目录中。

然后我在我的 Google Compute Engine VM 上运行我的train.py文件，该 VM 是从Google Cloud Marketplace 上的Deep Learning VM 映像创建的。该虚拟机有一个 vCPU、一个 Nvidia Tesla K80 GPU、3.75gb 内存和一个 100gb 永久性磁盘。

当我运行训练脚本时，除了将 dataset_dir 变量指向gcsfuseVM 上正确的 -mounted 目录外，我没有进行任何更改。

当我train.py在 100k crop 目录上运行时，它运行得相对较快，单个 epoch 大约需要 30 分钟。我在它运行时跳入top，CPU 利用率很高，保持在 90% 左右。

然而，使用相同的虚拟机，当我train.py在 20K 作物目录上运行时，它运行得更慢，一个 epoch 需要 6-7 小时，尽管数据集的大小更小。在这种情况下，CPU 利用率永远不会超过 5%。

我无法弄清楚是什么导致了减速，因为除了数据集之外，两次运行之间没有什么不同（据我所知），它们的格式相同。我使用pytorch具有相同线程数的相同数据加载器。两个 GCS 存储桶位于同一区域，us-west1与我的 VM 实例位于同一区域。

似乎一个存储桶相对于另一个存储桶是 IO 受限的，但我不知道为什么。

任何想法表示赞赏！

我的train.py文件在下面。

我正在尝试使用 Google Fuse 插件安装一个谷歌云存储桶并通过 Samba 共享它。

安装铲斗工作正常。我正在使用以下命令：

该-o allow_other标志是必需的，因为 samba 用户需要访问该目录。

下面列出了我的 samba 共享配置。

现在，一切似乎都奏效了。只要我使用 ssh 连接到服务器，我就可以在挂载的云存储桶中创建文件。我什至可以连接到 samba 共享并读取所有文件。
只有一个问题。这真的很奇怪。如果我尝试直接通过 samba 上传文件，它会失败（mac finder 中的错误代码 -50，权限被 cp 拒绝）。但奇怪的是，我尝试上传的文件是在共享上创建的一个空文件。因此，似乎我可以创建文件，因为显然创建了一个文件，但是客户端似乎不理解它并且在没有上传完整文件的情况下失败。

我的设置有问题吗？是否可以通过 samba 共享安装了保险丝的驱动器？

我已经创建了 Google Cloud Storage Bucket 并将其安装到我的 VM 上，使用：
gcsfuse my-bucket /path/to/mount/point
当我键入df -H它列为已安装的文件系统时。
我有以下问题：

如果我使用 GCP Web 控制台将文件上传到存储桶，我可以从 VM 中看到它。如果我尝试创建一个目录，但是从 VM 到挂载的文件系统mkdir /path/to/mount/point/test，它会说：

我是 GCP 和 linux 的新手，我尝试使用 gcsfuse 在我的 centos 实例上安装存储桶。

我尝试使用在启动时运行的脚本，但它不起作用，所以我尝试使用 fstab（人们告诉我它好多了）

但是当我尝试 ls 我的挂载点时出现此错误：

ls: 读取目录 .: 输入/输出错误

这是我的 fstab 文件：

根据：https ://github.com/GoogleCloudPlatform/gcsfuse/blob/master/docs/mounting.md

谢谢你的时间。