问题标签 [s3fs]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
299 浏览

amazon-s3 - 将 PDF 直接生成到 s3fs 上的路径(安装的 Amazon S3 存储桶)

有人使用过 Amazon S3 的 s3fs 实用程序吗?

我有一些即时生成大型 PDF 文档的脚本,大多数在 10+ MB 范围内,但有些可能是 2 GB。

将诸如此类的大文件直接生成到 s3fs 驱动器是否有任何危险?

谢谢,布赖恩

0 投票
2 回答
3921 浏览

linux - Fedora 14 上的 Amazon AWS s3fs 挂载问题

我在我的 Fedora 14 机器上成功编译并安装了 s3fs (http://code.google.com/p/s3fs/)。我在指南中指定的 /etc/ 中包含了密码凭据。当我运行时:

sudo /usr/bin/s3fs bucket_name /mnt/bucket_name/

它运行成功。(注意:bucket 名称与 /mnt/ 中的文件夹名称相同)。当我在 /mnt/ 中运行 ls 时,我收到错误“ls:无法访问 bucket_name:权限被拒绝”。当我跑

sudo chmod 640 /mnt/bucket_name

我得到“chmod:更改 `bucket_name' 的权限:输入/输出错误”。当我重新启动机器时,我可以正常访问文件夹 /mnt/bucket_name 但它没有映射到 s3 存储桶。

所以,基本上我有两个问题。1) 在将文件夹 (/mnt/bucket_name) 挂载到 s3 存储桶后,如何照常访问文件夹 (/mnt/bucket_name),以及 2) 即使在机器重启后如何保持挂载。

问候

0 投票
1 回答
2439 浏览

php - 使用 Amazon S3 php REST API 与将 S3 存储桶挂载到服务器 (s3fs)

我将在不久的将来启动一个应用程序,该应用程序部分要求用户上传文件(图像)以供其他成员查看。我喜欢 S3 的想法,因为它相对便宜并且可以自动扩展。

我的问题是如何让用户将他们的图像上传到 S3。似乎有几个选择。

1-使用 php REST API。唯一的问题是我无法让它同时上传同一图像的各种缩放版本(即缩略图)并将它们直接上传到s3(它一次只适用于一张图像)。总的来说,它似乎不太灵活。

http://net.tutsplus.com/tutorials/php/how-to-use-amazon-s3-php-to-dynamically-store-and-manage-files-with-ease/

2- 另一种选择是使用 s3fs 安装 S3 存储桶。然后像使用 NFS 一样以编程方式将我的图像移动到存储桶中。根据我的阅读,似乎有些人怀疑安装 S3 的可靠性。这是真的?

http://www.google.com/search?sourceid=chrome&ie=UTF-8&q=fuse+over+amazon

哪种方法更适合最大的可靠性和速度?

EBS 是否值得考虑?我真的很想有一个专用的盒子而不是使用 EC2 实例,虽然......

0 投票
1 回答
2406 浏览

git - 使用 Amazon S3 作为后端的文件系统版本控制

我正在尝试在我的 Debian 计算机和一台 OS X 笔记本电脑上进行以下工作。

我想要的是某种使用 Amazon S3 作为后端的版本控制文件系统。

我在想的是使用 s3fs(使用 FUSE)来挂载存储桶,然后创建一个使用 GIT 的文件系统,每次我编写文件时都会进行新的提交(我想要一个完整的版本历史记录最多 x 天)。然后,安装的文件夹应显示文件的最新版本。我不知道如何解决的问题之一(由于缺乏经验,我假设)是我想将文件与本地文件夹同步。当然,我可以只下载所有文件,但这对带宽不友好。

另一个问题是当前版本的 s3fs 似乎不适用于 MacFUSE。

此外,可能不会发生的事情,但如果两台计算机同时写入文件,我想防止文件损坏。如果我理解正确的话,git自己实现了某种文件锁定,并不依赖于操作系统的文件锁定。

什么可能是使这项工作的大纲?我想以这些方式存储的文件只是 .tex 文件和矢量图像。

我知道存在一些解决方案(比如 Dropbox),但我不太喜欢它是封闭源代码的。

0 投票
3 回答
1226 浏览

php - 无法将本地文件移动到挂载的 s3 驱动器?PHP

我正在使用 s3fs 将亚马逊 s3 驱动器安装到我的文件系统。当我使用 PHP 的 rename() 函数将本地文件移动到已安装的驱动器时,没有任何反应。rename() 可以用于这个吗?

上面的代码对我不起作用。驱动器似乎已安装,因为我可以看到它的文件。

事实证明这是一个权限问题——我用 s3fs 的“allow_other”选项修复了它,但现在我在使用 rename() 时遇到了这个 php 错误:

0 投票
2 回答
3189 浏览

amazon-ec2 - S3 存储桶在 EC2 实例上随机卸载

我的公司目前正在使用 AWS 的 S3fs 和 Ec2。我们已经在 Ec2 实例上安装了我们的 s3 存储桶,但一段时间后(例如一周),一些存储桶自行卸载,我们的服务器实例几乎变得无用。错误是“传输端点未连接”。

S3fs 版本:1.61 从源代码构建

FUSE 版本:2.84.1 从源代码构建

操作系统:Linux、Ubuntu 11.04

是否有某种安全机制来预防(或至少检测)这些问题?

0 投票
2 回答
1630 浏览

java - s3fs 无法挂载存储桶

我提前为提出这样一个愚蠢的问题道歉,但是如何使用 s3fs 在我的文件系统上挂载一个 s3 存储桶?

我使用了以下给出的简单说明:
https ://github.com/s3fs-fuse/s3fs-fuse/wiki/Fuse-Over-Amazon

我已经安装了它,我把我的凭据放在 /etc/passwd-s3fs 文件中,然后我像这样安装它:

s3fs myBucket /mnt/... -o use_cache=/tmp

但是当我尝试查看文件时(使用'ls'命令),当我尝试在我编写的一个小型java程序中访问它们时,目录只是空的。

我究竟做错了什么?

请注意:我在 linux 服务器上运行它。我还在 Windows 7 上运行的 vmware 上托管的本地 Ubuntu 来宾上进行了尝试。

谢谢!

0 投票
2 回答
3235 浏览

amazon-s3 - s3fs mount 看不到对象

我已经使用 s3fs 成功安装了我的存储桶,但是我看不到我使用 PHP 库创建的对象(子目录中的文件)。如果我在根级别添加一个文件,我可以看到。如果我在根级别创建文件,我可以看到。如果我创建一个目录,我可以在其中创建项目,但是我看不到我之前创建的目录和对象。

如何查看之前创建的项目?我真的很想创建一个 EBS,挂载它,然后把这些东西从 S3 上取下来。我希望像这样安装 S3 会很容易。

因为我只是想将对象从 S3 移动到 EBS,所以我也一直在尝试 s3sync。没运气。当 s3sync 尝试创建目录时,它创建了一些奇怪的东西......

帮助!!!

感谢您的帮助。

汤姆

0 投票
0 回答
225 浏览

c++ - 不同的程序使用相同的输入调用相同的函数,但输出不同?

我正在尝试使用 s3fs,这是一个基于 FUSE 的文件系统,用于在亚马逊云端备份数据。在我的实现中,我使用加密++中的 AES:CBC 开发了两个函数来加密和解密文件中的数据。我的问题是,当我使用s3fs中的解密函数解密一个txt文件X时,在X的同一个位置结果总是错误的,但结果却不同。但是,如果我使用另一个测试程序调用相同的函数来解密文件 X,而不是在 s3fs 中,结果总是正确的。我的系统是内核 2.6.32-35、FUSE 2.8.6 的 Ubuntu。我正在使用 C++ 实现。谢谢。

PS:加密功能在s3fs程序和其他测试程序中都有效,因为同一个源文件的加密输出是相同的。只有 s3fs 程序中的解密函数会产生错误的输出。

0 投票
1 回答
1395 浏览

linux - 挂载 s3 存储桶后看不到文件夹详细信息

我已经开始使用 S3 从运行 EC2 实例的服务器(Ubuntu Server)备份数据。我已经设法使用s3fs 让它工作。创建文件夹 /mnt/s3 并且我已将存储桶安装在该文件夹上。到目前为止,一切似乎都运行良好:我可以查看和更改存储桶内容,安装和卸载它,等等。但是在安装存储桶后,我注意到有些奇怪(至少对我而言),“ls -la”在 /mnt/ 上返回了这个:

所以我一直想知道是什么导致了这种行为。有谁知道是什么原因造成的?就像我说的,一切似乎都在起作用,我只是对这种现象感到好奇,我想知道我是否应该担心它。

顺便说一句,当我卸载存储桶时,文件夹详细信息再次变得正常。

提前致谢。