问题标签 [gcsfuse]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
511 浏览

linux - gcsfuse:具有 30,000 多个文件的 ls 目录导致 ls:读取目录 [目录]:输入/输出错误

我有一个已安装的 gcsfuce 存储桶,在给出 ls 命令后会显示输入/输出错误。

版本: gcsfuse version 0.21.0 (Go version go1.8)

挂载命令:

存储桶已成功安装,并且使用环境变量加载了凭据。这是在本地机器上,而不是在云实例上。

这是ls命令的输出:

结果:

0 投票
4 回答
33164 浏览

google-app-engine - FTP 到谷歌存储

有些文件每天都会上传到 FTP 服务器,我需要 Google Cloud Storage 下的这些文件。我不想让上传文件的用户安装任何其他软件并让他们继续使用他们的 FTP 客户端。有没有办法将 GCS 用作 FTP 服务器?如果没有,我如何创建一个定期从 FTP 位置获取文件并将它们放入 GCS 的作业?换句话说:最好和最简单的方法是什么?

0 投票
1 回答
1389 浏览

gcloud - 如何在 Google Cloud Storage 上运行脚本?

最近我正在使用谷歌云存储来存储一些文件。我已经使用 Cloud Storage Fuse 将它与我的 Google Compute Engine 实例一起安装。当我尝试在存储桶中运行自己的脚本时,即使我使用 chmod a+x,它也不允许这样做。有什么方法可以授权吗?谢谢!

PSBelow 是我要运行的脚本

0 投票
1 回答
1448 浏览

linux - 在启动期间挂载谷歌存储桶

我正在尝试在启动(或访问)第一种方式期间将 google 存储桶安装到实例 - 通过 fstab:

重新启动后它没有安装(但是当我尝试手动执行此操作时 - 没关系

第二种方式 - 使用 autofs: 在 auto.master 中:

auto.gcsfuse:

桶 -fstype=gcsfuse,uid=0,gid=0,rw,noexec,nodev,key_file=/etc/google/service-account.json :alex-backup-test

在日志中:

它被卡住了。

附言。但是 gcsfuse 的选项在手动和 autofs 挂载上似乎相似。

非常感谢您的建议!

0 投票
1 回答
127 浏览

google-cloud-storage - 使用 Cloud Storage Transfer 服务从 S3 传输的存储桶 gcsfuse 挂载后,发出 ls 命令时无法显示 s3 存储桶。

我使用 Transfer Service 将 S3 存储桶转移到 GCS。转会进行得很顺利。从云控制台,我可以看到 s3 存储桶。但是,在我使用 gcsfuse 在 GCE VM 中挂载 GCS 存储桶(其中包含传输的 s3 存储桶)后,它无法出现在 ls 命令中。

知道我可以解决问题吗???

谢谢!</p>

0 投票
1 回答
653 浏览

opencv - 在云数据流期间读取视频,使用 GCSfuse,本地下载,还是编写新的 Beam 阅读器?

我正在构建一个 python 云视频管道,它将从存储桶中读取视频,执行一些计算机视觉分析并将帧返回到存储桶。据我所知,没有一种 Beam 读取方法可以将 GCS 路径传递给 opencv,类似于 TextIO.read()。我的选择似乎是在本地下载文件(它们很大),使用 GCS fuse 安装在本地工作人员上(可能吗?)或编写自定义源方法。任何人都有什么最有意义的经验?

我的主要困惑是这里的这个问题

google cloud dataflow (apache beam) 可以用ffmpeg处理视频或图片数据吗

ffmpeg 如何访问该路径?它不仅仅是上传二进制文件的问题吗?需要有一个 Beam 方法来传递项目,对吗?

0 投票
1 回答
692 浏览

google-app-engine - 在 AppEngine 柔性环境上挂载 GCS 存储桶

我正在尝试使用 gcsfuse 在 AppEngine 灵活环境应用程序上安装 GCS 存储桶。

我的 Dockerfiles 包括以下内容:

我从这里拿走了大部分。这几乎只是安装 gcsfuse 的标准方式,加上--no-install-recommends.

如果我以这种方式启动应用程序,它不会安装驱动器。这对我来说并不奇怪,因为它似乎不是灵活环境的支持功能。

这是令人困惑的部分。如果我运行gcloud app instances ssh "<instance>",然后运行container_exec gaeapp /bin/bash,那么gcsfuse my_bucket my_dir工作正常。

但是,如果我运行gcloud app instances ssh "<instance>" --container gaeapp,则gcsfuse my_bucket my_dir失败并出现此错误:

如果我将 gcsfuse 作为我的main.py.

基于这个未解决的线程,我运行strace -f并看到与该用户完全相同的问题,即 EPERM 问题。

无论我以哪种方式登录到容器(或者如果我从 运行子进程main.py),我都是 root 用户。如果我运行,export那么我确实会看到不同的变量,因此运行的内容会有所不同,但其他一切对我来说都是一样的。

我看到的其他建议包括使用 gcsfuse 标志-o allow_other-o allow_root. 这些都不起作用。

可能有一个线索,如果我尝试在umount无法运行的登录上运行gcsfuse,它会说"must be superuser to unmount",即使我是 root。

似乎可能有一些我不明白的安全设置。但是,由于理论上我可以main.py触发一个外部程序gcsfuse为我登录并运行,似乎应该有一种方法可以让它工作而不必这样做。

0 投票
1 回答
1231 浏览

google-cloud-platform - 在 GKE 中使用 gcsfuse 挂载存储桶

我正在尝试在 Google Cloud 的 GKE 内的容器中安装一个存储桶,但出现以下错误......有什么想法吗?

日志:

modprobe 保险丝

unname -r

谢谢!!

0 投票
1 回答
5248 浏览

google-cloud-platform - 如何授予 Google 计算引擎实例访问云存储桶的权限?

我在同一个项目中有一个计算引擎实例(Ubuntu 16.04)和一个存储桶。

我想在计算实例上安装存储。我在此页面上找到了一些资源:https ://cloud.google.com/storage/docs/gcs-fuse 。

我已经gcsfuse在实例上安装并创建了一个目录来挂载存储,如下所示:

然后我使用以下gcsfuse命令安装了存储:

根据gcsfuse输出,一切看起来都很可靠,但是当我尝试创建一个测试文件时:

我收到以下错误:

我现在有点卡住了,我还应该尝试什么?

0 投票
1 回答
3833 浏览

google-cloud-datalab - datalab vm 机器上的 gcsfuse。错误:fusermount:未找到熔断器设备,请先尝试“modprobe fuse”

我已经在数据实验室机器上安装了 gcsfuse。创建了一个目标机器并使用 chmod 来允许所有调用的写入权限:

我收到以下错误:

知道什么可以解决这个问题吗?(我正在使用:gcsfuse 版本 0.23.0(Go 版本 go1.9))

非常感谢,艾拉