问题标签 [s3cmd]

尝试使用s3cmd将S3目录下载到本地计算机。我正在使用命令：

但是，如果我在中断后重新开始下载，s3cmd不会跳过之前下载的现有本地文件并重写它们。命令有什么问题？

有没有办法以编程方式在 Amazon S3 中查找零字节文件？

bucket的总大小超过100G，
我不太可能同步回服务器，然后做一个

我在亚马逊 S3 上有一个后缀为“.bin.gz”的文件。我希望网络浏览器将其视为压缩的 HTML 文件。因此，我可以进入 Amazon S3 Web 控制台 (https://console.aws.amazon.com/s3/home) 并导航到该文件并选择它。在那里，在属性下，我可以转到元数据选项卡并添加以下指令：

这按预期工作。那是容易的部分。

现在，我想在将数百个（或可能数百万个）文件放在 S3 上时对它们做同样的事情。

我曾尝试将 s3cmd 与该--add-header选项一起使用，但是当我尝试设置 Content-Type 时，这给了我一个签名错误。此外，我很确定这样做只会影响在 PUT 操作时发送的标头，而不是与文档一起存储的元数据。

所以，我正在寻找一种方法来做到这一点，最好是使用 s3cmd。如果这是不可能的，如果有人可以建议一个能够将元数据应用于 s3 上的文件的 python 库，我将不胜感激。

必须有一种方法可以做到这一点，而无需在控制台中手动设置。

我已经s3cmd安装了 linux 的命令行工具。将文件放入存储桶中效果很好。但是，我想将文件移动到“文件夹”中。我知道 S3 本身并不支持文件夹，但是我的 Cyber​​duck GUI 工具可以很好地转换它们，以便我查看我的备份。

例如，我在存储桶的根目录中有一个名为“test.mov”的文件，我想将它移动到“idea”文件夹中。我正在尝试这个：

但我收到奇怪的错误，例如：

我也尝试了引号，但这也无济于事：

文件夹名称也没有

有没有办法删除并重新提交这个 3GB 文件？

更新：仅供参考，我可以将新文件直接放入这样的文件夹中：

但是还是不知道怎么搬家。。。。

我需要从 S3 获取图像，在 ec2 上对其进行处理，然后将其保存到 S3 上的不同文件夹中。我不想在此过程中将文件保存到 ec2。

是否可以将“s3cmd get s3://bucket/image”的结果通过管道传输到 var？它似乎没有打印到标准输出？

我使用 s3cmd 将文件上传到 Amazon s3。这是一个超级应用程序。唯一的问题是我仍然需要登录网络界面并将文件的权限更改为“授权用户”并授予读取权限。

有没有办法可以通过终端更改权限并使其成为授权用户？

有任何想法吗？

我有一些奇怪的行为从 s3cmd 重定向标准输出和标准错误。例如：

这个输出是（如果我没有弄错的话）部分标准输出和部分标准错误。如下所示：

实际上，stderr 被重定向，但我们需要 stdout 和 stderr。让我们先试试标准输出：

它不是在命令之后写的，所以我理解 stdout 实际上是重定向（或其他东西），但它不会被日志文件捕获。我猜它以某种方式检测它是否连接到 tty，并且只在第一种情况下输出这种数据。

同样，如果我尝试重定向两个流，我会得到 stderr 但不会得到我需要的 stdout 输出：

事实上，我需要做的是从 PHP 调用它并获得完整的输出。我只找到了执行命令和检索标准输出的方法，所以我这样做如下：

在这里，我没有从任何一个流中得到任何输出。我想我丢失了标准输出，因为 s3cmd 检测到它没有连接到 tty，但是标准错误我仍然不明白为什么它没有被捕获。

尝试使用 popen() 和 exec() 我得到了相同的结果。

我需要整个输出，或者至少是标准输出（尽管我猜进度信息会以某种方式被抓取）。任何想法？

提前致谢！！

在迁移到 AWS EC2 时，我想限制我的实例的用户权限是有充分理由的。实例需要做的一件事是访问 S3 上的文件并在那里写入文件。但是，如果不授予该用户所有权限，我找不到任何方法来实现这一点。

s3cmd 允许我在我授予策略权限的 s3 存储桶上调用“ls”和“du”，但在尝试与这些文件夹之一进行 PUT/同步时总是失败并出现 403 错误。如果我使用我的根凭据，则传输会直接进行。

所以，我不明白为什么如果我将所有权限授予用户所述存储桶，它不能 PUT，但如果我给它arn:aws:s3:::* (所有存储桶) 那么它可以。对我来说毫无意义。

以前有其他人处理过这个吗？

I have a S3 bucket with thousands of folders and many txt files inside those folders.

I would like to list all txt files inside the bucket so I can check if they're removable. Then remove them if they are.

Any idea how to do this with s3cmd?

大家好：我正在尝试通过 s3 在 EMR 集群中获取 s3 distcp jar 文件：

但是，“get”命令不起作用：

该文件也存在于其他 s3 区域中，所以我什至尝试过：

但是ecommand仍然失败。但是，唉——这个 .jar 文件显然存在，当我们运行“s3cmd ls”时，我们可以看到它被列出来。有关详细信息，请参见下文（以 eu-west 地区为例）：

以上似乎证实了，事实上该文件是存在的。

*我怎样才能使“get”命令适用于这个文件？*