问题标签 [s3cmd]

我在 S3 上托管一个静态网站。要将我的网站推送到亚马逊，我使用 s3cmd 命令行工具。除了将 Content-Type 设置为text/html;charset=utf-8.

我知道我可以在 HTML 文件的元标记中设置字符集，但我想避免它。

这是我正在使用的确切命令：

这是我得到的错误：

ERROR: S3 error: 403 (SignatureDoesNotMatch): 我们计算的请求签名与您提供的签名不匹配。检查您的密钥和签名方法。

如果我;charset=utf-8从上述命令中删除该部分，它可以工作，但 Content-Type 设置为text/htmlnot text/html;charset=utf-8。

如果我在 S3 上有一个包含约 5000 个小文件的目录，有没有办法轻松压缩整个目录并将生成的 zip 文件留在 S3 上？我需要这样做，而不必自己手动访问每个文件。

谢谢！

当我跑

我明白了

有人有什么想法吗？？

我正在尝试编写一个 bash 脚本来自动化我的备份计划。我使用一个脚本每天创建一个 S3 文件夹，并将日期作为文件夹名称。并且每小时他都会在此文件夹中上传一个备份。示例：/Application1/20130513/dump.01

我的备份计划是保留 2 天的完整备份（每小时），并在 s3 文件夹（“oldbackup”）中保留最近 15 天的 1 个备份。

我的脚本有什么问题？

谢谢

我正在尝试创建一个好的脚本来将我的文件备份到Amazon S3存储服务中。考虑到这一点，我正在使用该s3cmd工具，这似乎对此非常有用。但有一件事让我很难受。有时当我上传文件时，它会给我以下消息错误：

所以在网上看我发现了这篇文章，它基本上说要增加socket_timeout配置文件中的值，但是我怎样才能找出timeout许多不同大小的文件的最佳值呢？我的意思是，有时我需要发送100MB和其他时间10GB。最糟糕的是，当连接被timeout. 所以这里有两个问题：

1-如何知道最佳socket_timeout价值

2-如何让我的上传从它停止的地方开始？（在超时的情况下）

我需要从包含某些字符的 S3 存储桶中计算压缩 (.gz) 文件中的条目数。我怎么能做到？

具体来说，我的 S3 存储桶是s3://mys3.com/. 在此之下，有数千个桶，如下所示：

在每个存储桶中，大约有数百个压缩 (.gz) JSON 对象，如下所示：

每个压缩文件包含大约 20,000 个 JSON 对象（每个 JSON 对象是一行）。在每个 JSON 对象中，都有某些字段包含“请求”一词。我想计算 bucket1 中包含“请求”一词的 JSON 对象的数量。我试过了，但没有奏效：

我没有很多shell经验，所以有人可以帮助我吗？谢谢！

我在 django 应用程序中有这些行。它们在正常条件下运行良好，但当我将它们称为 celery 任务时，似乎什么也没发生。我什至找不到报告的错误。谁能建议我哪里出错了？

我在 django 用户下运行 celery 任务。

我这几天一直在尝试解决这个问题，希望能得到一些帮助——

基本上，我编写了以下 Python 脚本

我的代码中的所有内容都有效...当我直接从命令行运行时，一切都按预期运行...但是，当我通过 cron 执行它时——以下内容不执行（其他所有内容都执行）

为了回答几个问题，我以 root 身份运行 cron，为 root 用户配置了 s3cmd，操作系统是 Ubuntu 12.04，python 版本是 2.7，所有必要的目录都具有读/写权限...

我错过了什么？

我正在尝试将/contentstore/存储桶上的整个文件夹复制到带时间戳的版本。基本上/contenstore/会被复制到/contentstore/20130729/.

我的整个脚本s3s3mirror首先使用将我的生产 S3 存储桶克隆到备份。然后，我想将备份重命名为带时间戳的副本，以便我可以保留相同的多个版本。

我有这个使用的工作版本，s3cmd但它似乎需要异常长的时间。两个存储桶之间的s3s3mirror部分在几分钟内完成，可能是因为它是对现有文件夹的刷新。但即使在干净的情况下s3s3mirror（备份中没有现有的内容存储），也需要大约 20 分钟。

另一方面，将内容存储复制到备份存储桶上的时间戳副本需要一个多小时 10 分钟。

我做错了什么吗？同一个存储桶上的数据副本是否应该比两个不同存储桶之间的完整克隆花费更长的时间？

任何想法，将不胜感激。

PS：我正在运行的命令是s3cmd --recursive cp backupBucket/contentStore/ backupBucket/20130729/