问题标签 [s3cmd]

我正在尝试为我的 nginx 服务器使用日志轮换配置，该服务器用作位于 EC2 Ubuntu 实例上的反向代理机器。

我想在轮换后将这些日志存储在 S3 存储桶上，但是当我尝试配置 s3cmd 工具时，我只会收到“访问被拒绝，你确定你的密钥有 ListAllMyBuckets 权限错误”。

我很确定我的凭据在 IAM 上已正确配置，尝试了至少五个不同的凭据（甚至是根凭据），结果相同。使用具有相同凭据的 aws cli 工具列出本地计算机中的所有存储桶可以正常工作，因此让我感到困惑的是，我仅在我的 EC2 实例上没有任何访问权限。

这就是我运行的：

这就是结果

我的 nginx 服务器前面唯一的东西是负载均衡器，但我不明白为什么它会干扰我的请求。会不会是我错过的其他东西？

我正在使用s3cmd将一些东西上传到 S3 存储桶。问题是，我如何以编程方式向它提供一些配置变量？

我没有使用 1.5 版，所以我没有可用的--access_keyand--secret_key标志。我只有，它以交互--configure方式创建一个配置文件，并且，它必须被提供一个配置文件。但是我如何实际构建该配置文件？构建的配置文件在那里添加了许多选项；我只需要将访问密钥和密钥传递给我的命令。-c--configures3cmd

我有两个简单的脚本可以在 Amazon Web 服务上向 S3 上传和下载一些代码：

但是，这些脚本仅在我不使用该--encrypt选项时才有效。生成的文件有 11MB 没有加密，它解压缩得很好，9MB 使用加密但是当我尝试解压缩它时给我一个错误。--decrypt由于没有选项并且--encrypt在下载时使用也不起作用，如何从 S3 解密文件？

我用加密密码正确配置了 s3cmd，它通过了配置测试。在有人问之前，这里出现了错误：

我每两个小时使用 cron 在 s3 上进行 mongodb 备份并上传。

现在我想保留最近 7 天的所有文件，并想在 7 天后从 s3 中删除所有文件，但想保留一个备份 1 天。

我正在使用 S3cmd。

我怎样才能做到这一点？

我有大量数据以对象的形式存储在亚马逊 S3 上。

就像我有用户在亚马逊 S3 上存储了 200+ GB 的照片（大约 100000+ 个对象）。每个对象是一张照片，每个对象大小平均为 5MB。

现在我想给用户一个下载数据的链接。

目前我在做什么。

1. 使用S3cmd我将所有对象从S3复制到EC2。
2. 然后使用ZIP 命令或TAR 命令创建一个 ZIp。
3. Zip 过程完成后，我将 zip 文件移回 S3。
4. 然后创建一个单独的链接，我将其作为电子邮件发送给用户。

但是这个过程需要很长很长的时间，大部分时间它给出了内存问题，存储问题并且这个过程非常缓慢。

我需要知道

1. 有什么办法可以增加这个处理时间。
2. 是否有任何第三方服务/工具，我可以创建我的文件的快速 zip 并发送给用户。
3. 或任何其他第 3 方解决方案，我已准备好为此付费。

我正在尝试使用服务器端加密来加密 Amazon S3 上的一些文件。根据这个链接

http://s3tools.org/kb/item9.htm

我应该只添加这个标志

在我尝试运行的 put 或 sync 命令上，但是当我这样做时，我收到“s3cmd：错误：没有这样的选项：--server-side-encryption”消息。

如何运行此命令以使用服务器端加密？

我正在使用 ubuntu 14.04 服务器 64 位。

我正在对 Hive 进行一些处理。通常，此过程的结果是一个文件夹（在 S3 上），其中包含多个文件（按顺序以一些随机字母和数字命名），我可以将它们“分类”在一起。

但是对于报告，我只需要文件夹中的第一个和最后一个文件。现在，如果文件数以百计，我可以简单地通过 web-gui 下载它。

但如果它是数千个，向下滚动是一种痛苦。更不用说，亚马逊会在需要时动态加载内容，而不是全部显示。

我试过s3cmd get了，但我的经验充其量只是基本的。我最终下载了整个文件夹的内容。

据我所知，可以输入额外的命令，但我不知道该怎么做。

那么，如何使用s3cmd get仅下载特定文件夹中的最后一个文件？

谢谢。

我希望获取我的 S3 存储桶上大于 200 KB 的所有文件。经过一些研究，我能够使用以下命令递归地生成我的 S3 存储桶中大于 200 KB 的所有文件的列表：

理想情况下，我不仅希望找到所有大于 200KB 的文件，而且还希望在同一命令中获取它们，而不是仅仅生成一个列表。

我正在寻找这样的东西，但它显然不正确。

供参考：如果您不熟悉 s3cmd：$3 返回文件大小，$4 返回 s3cmd 返回的特定文件的文件名。

提前感谢您的帮助。

问题：

如何使用 awk 在另一个 bash 命令中调用另一个 bash 命令？

我想做类似以下的事情，但它不起作用：

wget http://www.blob.com/file | s3cmd 把 s3://mybucket/file

这可能吗？

我正在使用 s3cmd 将我的数据库备份到 Amazon S3，但我还想备份某个文件夹并将其存档。

我有这个脚本的这一部分，它成功地将数据库备份到 S3：

如何添加另一个部分来存档某个文件夹，上传到 S3 然后删除本地存档？