问题标签 [s3fs]

When writing a file to S3 using S3FS, if that file is accessed while writing to it, the data in the file is deleted.

We had a Red Hat Linux server on which we kept a product we were beta testing when we noticed this issue. When we went to fix the issue, we moved that product to an Ubuntu instance and we no longer have that issue.

We set up a server for a client that wanted Red Hat and moved some code to that server and that server is now having the overwrite issues.

我在 EC2 实例上，我希望将我的 PHP 网站与我的 Amazon S3 存储桶连接起来，我已经在这里看到了 PHP 的 API：http: //aws.amazon.com/sdkforphp/但不清楚。

这是我需要在控制器中编辑的代码行：

我需要连接到 Amazon S3 并能够像这样更改代码：

我已经为此目的配置了一个 IAM 用户，但我不知道完成这项工作所需的所有步骤。

如何连接 Amazon S3 并与之交互以上传和检索公共图像？

更新

我决定按照建议尝试使用 s3fs，所以我按照这里的描述安装了它（我的操作系统是 Ubuntu 14.04）

我从控制台运行：

一切都已正确安装，但下一步是什么？我应该在哪里声明凭据以及如何在我的项目中使用此集成？

第二次更新

.passwd-s3fs我使用我的 IAM 凭证创建了一个使用单个代码行调用的文件accessKeyId:secretAccessKey。

我将它放入我的home/ubuntu目录并授予它 600 权限chmod 600 ~/.passwd-s3fs

接下来从控制台运行/usr/bin/s3fs My_S3bucket /uploads/fufu

现在里面/uploads/fufu有我所有的存储桶文件夹。但是，当我尝试此命令时：

我收到此错误消息：

第三次更新

正如我建议的那样，我运行了这个fusermount -u /uploads/fufu，之后我检查了 fufu 文件夹并且按预期是空的。之后我再次尝试了这个命令（再加一个-o）：

并收到此错误消息：

还有什么建议吗？

第四次更新18/04/15

根据控制台的建议，我运行sudo usermod -a -G fuse ubuntu并sudo vim /etc/fuse.conf取消注释 mount_max = 1000 和 user_allow_other

比我运行 s3fs -o nonempty -o allow_other My_S3bucket /uploads/fufu

乍一看没有错误，所以我认为一切都很好，但事实恰恰相反。

我现在有点沮丧，因为我不知道发生了什么，但我的文件夹/uploads/fufu被隐藏了，使用ls -Al我只看到这个

我不能，或者sudo rm -r它说-rfmv -r/uploads/fufu is a directory

我试过了reboot exit and mount -a，但没有。

我尝试卸载使用fusermount，错误消息是fusermount: entry for /uploads/fufu not found in /etc/mtab

但是我尝试了 sudo vim /etc/mtab 并找到了这一行：s3fs /uploads/fufu fuse.s3fs rw,nosuid,nodev,allow_other 0 0

有人可以告诉我如何卸载并最终删除此文件夹/uploads/fufu吗？

当您有几个目录（大约 70 个）每个目录都有很多文件时，s3fs 挂载上的任何递归chown或chmod命令都需要很长时间。

这些命令中的任何一个都可能需要将近 24 小时。我必须这样做，否则 Apache 进程无法访问这些文件/目录。普通挂载上的命令大约需要 20 秒。

安装：

在/etc/fuse.conf：

使用最新版本：1.78

关于如何更快地做到这一点的任何想法？

我知道这不是一个非常技术性的问题。但是我在哪里可以找到亚马逊 s3 的高延迟对象存储插件？官方 Open-Xchange 站点链接为“Dovecot Store”提供了 404。

几个月来我一直在不停地尝试做这件事，但无济于事，甚至给 dovecot 的联合创始人 Mikko Linnamäki 发了电子邮件，他说我的项目还不够大，并询问了“开源社区”。

任何帮助是极大的赞赏。

我通过 S3FS 安装了带有 S3 存储桶的 AWS Elastic Beanstalk。我打算让 EB 自动缩放实例。因此，我制作了已配置实例的 AMI 映像（需要重启），然后在自动扩展配置中使用该映像。

我的 /etc/fstab 配置看起来像

但是，当手动或通过自动缩放启动实例时，S3FS 的安装不可靠——我尝试了 5 次手动重启，只有一个工作正常，另外四个没有正确安装 S3 存储桶。挂载的目录权限看起来像 d?????????, onwer ?, group?。ls 和 fusermount -u 抛出错误：传输端点未连接

可能是什么问题呢？

我已经安装了三个 s3 存储桶，即1) abc.example.com 2) bdf.example.com 3) xyz.example.com使用基于 FUSE 的 s3fs。我能够从安装位置 (/mnt/s3/) 访问（读取和写入）abc.example.com 和 bdf.example.com。但是当我尝试访问 xyz.example.com 时。我收到以下错误。 错误：s3fs 软件导致连接中止

我将一些文件上传到 S3，我想在 EC2 实例中访问它们。我正在尝试让 s3fs 工作。我通过 SSH 连接到我的 EC2 实例，然后使用以下命令在本地文件夹上安装了一个 S3 存储桶/mnt/s3：

allow_other即使没有选项，我也可以看到文件没有问题。当我使用时，文件大小也可以ls -l，但是当我尝试查看一些随机文本文件时，我得到一个错误：

我也尝试用 Vim 打开它，但没有成功。该allow_other选项也没有解决我的问题。

欢迎任何想法！

编辑 1

@AndrewGaul 要求：

使用双重调试选项 (-d -d)：

使用双重调试加 -f：

我在这两种情况下都得到了类似的日志，但我不太明白它们的意思。两者都挂在那里，直到我用 ctrl+C 停止它们，之后都没有安装。

我正在使用 Amazon AWS 并希望在 AWS ec2 实例上安装 S3 存储桶“mybucket”。然后我可以轻松地写入/读取文件并将其链接在一起。

我正在关注本教程:: https://www.emfluence.com/blog/amazon-web-services-integrating-s3-and-ec2-few-simple-steps

但是，当我重新启动实例时，它卡住了，我无法连接到 ssh。我认为这个问题与我所做的 /etc/fstab 条目有关：

s3fs#mybucket /mnt fuse defaults,uid=33,gid=33,allow_other,use_cache=/data,default_acl=public-read,use_cache=/tmp/s3-cache,passwd_file=/var/www/mysite/security/mybucket 0 0

然后我发现了这个问题解决方案:: 使用 s3fs 实用程序 AWS 安装 S3 存储桶 并更新我的 /etc/fstab 条目::

s3fs#mybucket /mnt fuse allow_other,_netdev,nosuid,nodev,url= https://s3.amazonaws.com 0 0

现在问题开始:: 每当我重新启动实例时，我的挂载位置“/mnt”没有响应并显示此错误::

-bash: cd: uploads: 传输端点未连接

然后我首先卸载它sudo umount /mnt然后运行sudo mount -afv它开始工作

请指导我如何设置这个 /etc/fstab 条目？所以我可以在每次重启时自动挂载 mybucket。

我的 Amazon S3 存储桶有数百万个文件，我正在使用s3fs. 任何时候ls（非故意）发出命令，终端都会挂起。

在挂载路径ls中发出命令时，有没有办法将返回的结果数限制为 100 ？s3fs

我有使用 Amazon AMI Linux 的 AWS 实例。我制作了安装了 S3FS 的自定义磁盘映像，由负载均衡器自动启动。在 S3 存储桶中，所有实例都有共享图像。

在 /etc/fstab 中添加了一行

问题是，每当 EC2 实例从此自定义 AMI 启动时，S3 存储桶将无法正确安装的概率约为 50%，并且Transport endpoint is not connected当 df -h. 如何让 S3 bucket 的挂载更可靠？