问题标签 [s3fs]

我在两个 EC2 实例上使用 fuse 和 S3fs 将 Moodle 数据目录安装到 S3 存储桶。现在我在负载均衡器组中使用两个 EC2 实例，一切正常，直到我不清除缓存。一旦我清除了我的应用程序的缓存，它就会给我一个错误。

检测到编码错误，必须由程序员修复：无法从文件中反序列化数据。要么读取失败，要么写入失败。

请建议我们如何为两个或两个以上的实例共享 Moodledata 目录。

我正在尝试将我的 s3 存储桶安装到我的服务器上。（Centos 6）当运行以下命令时

我收到一个错误

我有一个我正在研究的 s3fs-fuse 叉子。我的工作是使用 RC4 透明地加密文件。我已将加密添加到 FdEntity::Read 和 Write 函数（在 fdcache.cpp 中找到）但是当我尝试复制 jpeg 文件（17kb）时它失败（文件被复制，但图像已损坏）并且根据对于 cmp，文件在 4096 字节之后开始有所不同。但是，一个 198kb 的文本文件被复制而没有错误。

这是我所知道的：4kb 是一个块的大小。
但是，s3fs 直到 20mb 才会进入“多部分模式”。即便如此，我已经禁用了多部分-o nomultipart（我也在使用-o direct_io）。
所以这可能不是因为分段上传。

知道 4kb 之后可能会触发什么但仅在 jpeg 文件上触发吗？它可能与二进制文件与文本文件有关吗？

我正在尝试使用 sf3f ( https://github.com/s3fs-fuse/s3fs-fuse来处理由不同进程上传到 s3 存储桶的文件。当我在挂载目录中时，我可以看到列出的文件和文件显示正确的时间戳和正确的大小。但是尝试用代码或使用 vi 或 nano 打开文件只会显示垃圾，例如 ^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@

如果我卷曲 s3 链接，那么我确实会看到内容，因此它是可用的，并且似乎没有权限问题。

我能够在此目录中创建一个新文件，并且内容保存良好 - 可以在 S3 资源管理器中查看它。

有什么想法吗？这是一个 s3fs-fuse 问题吗？使用https://github.com/kahing/goofys之类的替代方案可能会更好？

我已注册 AWS EFS 预览版，但不知道等待时间是多少。

我已经使用 s3fs 在 linux 服务器上安装了 S3 存储桶。现在，在使用 apache 和 root 访问创建新文件时，它的默认权限是分配为私有的。在从控制台将其设置为公开之前，我们无法浏览它。

我们如何挂载存储桶以对所有新文件具有默认的公共读取权限，但是我在挂载目录时提到了它，但它不起作用。

下面是我用来安装存储桶的命令。

请让我知道我还需要做什么，或者我做错了什么。

编辑：

我注意到在重新启动服务器后它停止为新文件分配公共读取权限，但它在重新启动服务器之前工作。

谢谢你

我正在尝试找出一种从 S3 存储桶中读取图像的方法。现在，我的设置是使用 s3fs 挂载存储桶，然后使用 python 脚本os.walk遍历每个单独的图像并使用 numpy 对它们进行一些操作。

然而，输出

没什么！该命令在已安装的驱动器中看不到任何文件，但如果我手动找到图像

我收到图像。我束手无策，试图弄清楚这一点。有任何想法吗？

我正在两台 EC2 机器内的两个 s3fs 挂载目录之间进行大量文件上传和下载。如果事务很高，自动挂载的 s3fs 会抛出错误Transport endpoint is not connected。要解决此问题，我必须强制卸载并重新安装。我想知道问题的原因是什么？

注意：我通过使用 s3fs 将 s3 用作挂载驱动器，但我在某个时间点从另一个开发人员那里听说过，这是不可取的。他说使用 s3 作为 SDK 是指通过使用 API。

我正在尝试在我的 Docker 容器上安装 s3fs-fuse。到目前为止，这是我的 Dockerfile。

然后按照https://github.com/s3fs-fuse/s3fs-fuse上的说明执行以下命令：

然后我得到这个：

所以，我想我需要得到正确的保险丝版本，因为yum fuse-devel没有切断它。所以我去https://github.com/libfuse/libfuse并按照那里的说明执行以下操作：

然后我得到这个问题：

我一直在互联网上，并尝试了导致错误的全部autoconf和事情。我还尝试将 ' 添加到导致我无处可去的命令中。一张超级悲伤的脸没有运气。autoreconf -im4 directory missing--prefix=/your/chosen/directory./configure --prefix=/your/chosen/directory

按照给出的步骤 - https://forums.aws.amazon.com/thread.jspa?messageID=475840

'make install' 这一步发生错误

它抛出错误 - 表明 tar 文件已损坏，无法在 EC2 上安装 S3FS。

这是当前的情况-

我有多个 S3 Buckets，它们为来自 FTP 的对象的 PUT 配置了 SQS 事件，我使用 S3FS 进行了配置。

此外，我在 EC2上有多个目录，用户可以在其中放置一个对象，该对象与不同的 S3 存储桶（使用 S3FS）同步，生成 SQS 事件（使用 S3 的 SQS 事件）。

这是我需要实现的目标，

我需要整合文件夹级别的逻辑，而不是多个 S3 存储桶，
即。我现在已经为之前创建的每个存储桶创建了不同的文件夹，我已经为各个文件夹中的 PUT 创建了单独的 SQS 事件。

现在是 S3FS 的存储桶级别逻辑，我想调整单个 S3 存储桶中的文件夹级别。

IE。我想在 EC2 上创建 3 个不同的目录，例如 A、B、C。
如果我在 EC2 的目录 A 中放置一个对象，则该对象必须与 S3 存储桶中的文件夹 A 同步，
对于目录 B 和 S3 的文件夹 B 以及 EC2 上的目录 C 和 S3 上的文件夹 C 也是如此。

以下是我为安装 S3FS 创建的步骤 -
步骤 -

1. SSH 进入 EC2

2. sudo apt-get install automake autotools-dev g++ git libcurl4-gnutls-dev libfuse-dev libssl-dev libxml2-dev make pkg-config

3. git 克隆https://github.com/s3fs-fuse/s3fs-fuse.git

4. cd s3fs-保险丝

5. ./autogen.sh

6. 。/配置

7. 制作

8. 须藤使安装

将 S3 存储桶挂载到文件系统

9. echo access-key-id:secret-access-key > /etc/passwd-s3fs

10. chmod 600 /etc/passwd-s3fs

11. mkdir /mnt/存储桶名

12. echo s3fs# bucketname /mnt/ bucketname fuse _netdev,rw,nosuid,nodev,allow_other 0 0 >> /etc/fstab

13. 挂载-a

现在这些步骤实现了 EC2 上的特定目录和 S3 存储桶之间的同步，
我如何调整它以同步 EC2 上的 2 个不同目录与 S3 上的 2 个不同文件夹。
我是 Linux 和 AWS 新手，请帮帮我。