问题标签 [s3fs]

我在一个带有 S3FS 的 EC2 实例中将 S3 存储桶挂载为卷。我已经用 PHP 在那里创建了一个超过 20GB 的目录结构。

当 S3FS 耗尽实例内存并且上传速度非常慢时，我想将所有文件移动到附加到同一实例的 EBS。

我尝试过 S3CMD，但存在一些不兼容，因为 S3FS 在存储桶中创建了与目录同名的零大小对象。

还尝试编写脚本以递归方式复制跳过那些零大小对象的结构。

没有工作。

有没有人尝试过这样做？在此先感谢您的帮助。

我一直在尝试将 s3 中的文件推送到我的 ec2 实例。

当我这样做时：

它没有给出任何错误。但是当我试图查看logs目录时。我根本看不到任何输出！

我在哪里犯错误？是否有任何s3fs命令生成的日志文件？让我看看他们？

提前致谢。

我正在用 ASP.NET 4.5 开发一个 Web 应用程序。该应用程序的一部分包括用户上传图像的选项。图像是 Amazon S3 上的存储。现在我选择的路径是使用 Amazon SDK 将图像上传到 S3 上的存储桶并通过 CloudFront 提供服务。问题是我认为使用s3fs可能是一个更好的选择。

如果我挂载一个S3存储桶作为文件夹，当用户上传照片时，我可以继续应用程序操作，知道图像会通过网络传输到S3，所以我不需要等到这个过程完成之前继续代码。所以我所要做的就是等到图像完成上传到服务器并继续代码。

我想知道这是否是一个好方法。等待图片上传可能需要一些时间，我不希望用户等到所有图片都上传完毕，这可能需要一些时间。

对于图像上传的最佳实施有什么建议吗？

我知道可以使用 Fuse（s3fs [或 s3fsr ruby​​ gem？]）安装 Amazon S3 存储桶。

我的案例是针对 Heroku 的。

Heroku 的文件系统对于可扩展性等来说是只读的，但是有没有办法在 Heroku 的文件系统中挂载亚马逊 s3？

就我而言，我在 Heroku 上使用 Redmine，并希望使用 Redmine 的内置 git 存储库管理将代码审查链接到我的问题。Redmine 需要将存储库克隆到本地目录，这在 Heroku 上是可能的，但不是持久的。

我希望 Redmine 在已安装的 S3 存储桶上维护一个 git 存储库。这可能吗？如果有可能，那会有多慢？有没有其他选择可以实现这一目标？

Redhat with Fuse 2.4.8
S3FS 版本 1.59

从 AWS 在线管理控制台，我可以浏览 S3 存储桶上的文件。
当我登录（ssh）到我的 /s3 文件夹时，我无法访问它。
还有命令：“/usr/bin/s3fs -o allow_other bucket /s3”
返回：s3fs：无法访问 MOUNTPOINT /s3：传输端点未连接

可能是什么原因？我该如何解决？这个文件夹需要卸载然后重新安装吗？

谢谢 ！

Redhat with Fuse 2.4.8
S3FS 版本 1.59

另外：Amazon S3 with s3fs and fuse，transport endpoint is not connected

我想制作一个脚本来解决这种情况。该脚本将卸载并安装目录。我需要使用的命令是：
fusermount -u /s3
/usr/bin/s3fs -o allow_other bucketname /s3

对于熟悉这种情况的人，我应该关心其他事情吗？或者这就足够了？

我在 S3 上查看存储桶中的视频时遇到问题。我正在使用 EC2 实例。存储桶通过 s3fs 安装为文件夹。当我尝试加载一个大文件时，我在开始下载之前会暂停。在此暂停中，我看到该文件下载（缓存）到 EC2。缓存后，文件开始在浏览器中下载。我尝试配置 s3fs 并禁用缓存，但选项 -o use_cache="" 不起作用。我尝试使用 s3fslite，但在将其发送给用户之前它也是缓存文件。

如何禁用缓存？也许有一些更快的解决方案，可以帮助我在 EC2 上使用 s3 存储桶之类的文件夹？

请参考以下已经问过的问题： Write 100m files to s3 and Too many open files in EMR

这里处理的数据大小至少在 4-5TB 左右。准确地说 - 300GB 使用 gzip 压缩。

随着这一步随着时间的推移聚合数据，输入的大小将逐渐增长。

例如，截至 2012 年 12 月的日志将包含：

为此，我们必须以 UDID（唯一设备标识符）作为文件名生成单独的文件，并在文件中按排序顺序生成属于该 UDID 的记录。

前任：

现在，当我们有 2013 年 1 月的日志时，此步骤将读取旧数据、此步骤已为较早月份生成的文件以及较新的日志以聚合 UDID 的数据。

前任：

对于这一步，我们考虑将数据写入 EBS 卷并保持原样以供以后使用。但是 EBS 卷有 1TB 的限制。正如在引用的问题中已经提到的，直接在 s3 上生成文件或在 HDFS 上生成然后移动到 s3 对这个用例来说不是一个可行的选择，因为大约有 1 亿个小文件需要移动。即使使用 s3distcp，移动如此大量的文件也太慢了。

因此，接下来我们将尝试 s3fs——由 Amazon S3 支持的基于 FUSE 的文件系统。有谁知道 s3fs 的可扩展性如何？能处理1亿个小文件吗？将分布在 1 亿个文件中的 3-5TB 数据从 s3 移动到本地文件系统以供 MR 作业使用需要多长时间？以及将数据移回 s3 需要多长时间？它是否会遇到与使用 s3distcp 时遇到的问题相同的问题？

提前致谢 ！

我有一个问题要了解使用 fuse-s3fs 的 Amazon s3 服务的挂载过程，当我挂载 amazon s3 服务存储桶时，它会将整个数据复制到我的本地系统还是仅充当 amazon s3 存储桶的视图？

我想知道的原因是，假设我有一个具有 500 MB 存储空间的系统，我可以安装一个存储大约 200 GB 数据的存储桶吗？如果它只是作为视图，那么我应该，但如果整个数据在本地复制，那么肯定不会。

我需要这方面的指导。

谢谢。

我一直在尝试将 Amazon S3 设置为我的文件的备份服务。我想通过将它作为驱动器安装在我的 ubuntu 安装上来使用该服务，而s3fs 项目应该可以实现这一点。但我遇到了一些麻烦。我相信我已经成功安装了 fuse 和 s3fs。当我安装驱动器时，我没有收到任何错误；但是，当我进入目录并发出“ls”命令时，什么也没有发生。如果我使用以下命令创建测试文件：

该文件显示在 aws 控制台中。但是我无法查看存储桶中已经存在的文件，也无法使用“cd”命令导航到子目录。我在项目谷歌论坛中做了一些嗅探，我想我发现 s3fs 看不到 s3 存储桶的任何内容，除非这些文件或目录是使用 s3fs 创建的。有没有其他人遇到过这个问题？这真的是这个项目的设计方式吗？这是一个错误吗？或者有没有办法解决这个问题？