问题标签 [s3cmd]

aws phpsdk 中的什么功能/技术等于 s3cmd ls s3://

我将文件上传到s3，其结构：

我需要首先列出没有可以在 s3cmd 中完成的所有文件名的文件夹，但我想在 php 中完成

我需要一个用于 s3cmd 的脚本，它为我的 Amazon S3 存储桶中的某些文件发送删除命令。我知道这个方法是内置的，但它没有用。让我们看看为什么。

目前我有一个脚本，可以在每个午夜备份我的数据库，每个星期五和星期二（仍然在午夜）备份我的网站文件。

我正在寻找的脚本应该删除文件以便仅在存储桶上拥有：数据库和文件的每月 1 次备份（比方说，每个月的第一天）。并保留过去 7 天的所有备份（每天为 db 和周二和周五为文件，因此是“默认”行为）。

例如，如果我在 2012 年 6 月 17 日，情况应该是：

然后在 2012 年 7 月 2 日，存储桶应包含：

该脚本将自动执行我现在正在手动执行的操作（我每个月已经只有 1 个备份，因此我必须从 7 天前开始删除备份，然后再回到每月 1 日的最后一次备份）。

抱歉这个令人费解的问题，我希望它足够清楚。:D

上传到 Amazon S3 的小于 5GB 的文件有一个 ETag，它只是文件的 MD5 哈希值，这样可以轻松检查您的本地文件是否与您在 S3 上放置的文件相同。

但是如果你的文件大于 5GB，那么亚马逊会以不同的方式计算 ETag。

例如，我对一个 5,970,150,664 字节的文件进行了 380 个部分的分段上传。现在 S3 显示它的 ETag 为6bcf86bed8807b8e78f0fc6e0a53079d-380. 我的本地文件的 md5 哈希值为702242d3703818ddefe6bf7da2bed757. 我认为破折号后面的数字是分段上传中的部分数。

我还怀疑新的 ETag（在破折号之前）仍然是一个 MD5 哈希，但在多部分上传的过程中包含了一些元数据。

有谁知道如何使用与 Amazon S3 相同的算法来计算 ETag？

我正在编写一个 shell 脚本来将 html 文件的网站树同步到 s3。

我想将任何文件的元数据设置为不带 text/html 扩展名的文件。是否可以递归使用 s3cmd -m ？

我正在使用jgit 在 s3 中创建一个遥控器。当我执行 ajgit push s3 master时，它会在 s3 中创建由我的 aws 用户（进行推送的用户）拥有的文件。

我希望这些文件也具有“经过身份验证的用户”权限。

我尝试了以下方法：

• 在 ~/.jgit 文件中设置acl: authenticated-read（这会引发错误，因为据我所知，仅支持“公共”或“私人”。
• s3cmd通过:修改推送后的 acl s3cmd --add-header=x-amz-acl:authenticated-read setacl --acl-private s3://my.bucket/repo/*。这似乎对文件的 ACL 没有影响（它就像没有运行，但没有错误）

如何执行以下操作之一：

1. 配置 jgit 以在推送到 s3 时设置“经过身份验证的用户”acl（我更喜欢这个）
2. 使用 s3cmd（或其他现有命令行工具）将现有文件的 acl 设置为“经过身份验证的用户”

我正在为一个拥有 2 个独立 AWS 账户的客户做一些工作。我们需要将其中一个 S3 账户上的存储桶中的所有文件移动到第二个账户上的新存储桶中。

我们认为 s3cmd 会允许这样做，使用以下格式：

但是，这只允许我使用一个帐户的密钥，我不能指定第二个帐户的帐户。

有没有办法在不下载文件并将它们再次上传到第二个帐户的情况下做到这一点？

我有这样的代码：

如果我这样运行，这工作正常：

当我像这样添加到 crontab 中时：

我等了！文件mys3Log被创建。但是里面没有内容！我希望命令执行的结果（正如我set -e ; set -x在代码中使用的那样）应该进入mys3Log文件，因为我在那里进行重定向。

但是出了点问题。我对 bash 编程和 cron 非常陌生。

我在哪里犯错误？

提前致谢。

我一直在尝试将 s3 中的文件推送到我的 ec2 实例。

当我这样做时：

它没有给出任何错误。但是当我试图查看logs目录时。我根本看不到任何输出！

我在哪里犯错误？是否有任何s3fs命令生成的日志文件？让我看看他们？

提前致谢。

我有一个 27GB 的文件，我正在尝试将它从 AWS Linux EC2 移动到 S3。我已经尝试了“S3put”命令和“S3cmd put”命令。两者都使用测试文件。两者都不适用于大文件。没有给出错误，命令立即返回但没有任何反应。

我s3cmd在 Ubuntu 上以 root 身份运行，它工作正常，没有问题。但是作为 www-data 的用户，我的 cron 使用它失败了，我得到了这个。

/var/backups/archives/files/file_name_27-01-2013_01:00:27.tar.gz -> s3://yolkmesh/london/archives/files/file_name_27-01-2013_01:00:27.tar.gz [ 1 of 69] 57344 of 73404 78% in 1s 31.58 kB/s failed WARNING: Upload failed: /london/archives/files/file_name_27-01-2013_01:00:27.tar.gz ([Errno 32] Broken pipe) 警告：重试低速（油门=0.00）警告：等待 3 秒...

这会随着越来越长的等待时间而失败。为什么这发生在一个用户而不是另一个用户身上。

如果没有修复，我可以从我的 cron 脚本中以 root 身份运行以下命令吗？

s3cmd已是最新。