问题标签 [amazon-s3]

有没有办法通过嵌入网站的 Flash 小部件或其他方法流式传输存储在 Amazon S3 上的 MP3？

我们可以将所有文件捆绑到一个亚马逊机器实例中并上传。但我想看看是否有更有效的方法来定期上传源代码以测试我们的应用程序并不断启动和运行最新版本。谢谢！

我继承了一个 Rails 2.2.2 应用程序，该应用程序将用户上传的图像存储在 Amazon S3 上。基于 attachment_fu 的Photo模型提供了rotate一种用于open-uri从 S3 和 MiniMagick 检索图像以执行旋转的方法。

该rotate方法包含这一行来检索与 MiniMagick 一起使用的图像：

self.public_filename返回类似的东西

检索图像并旋转它在生产和开发中运行的应用程序中工作得很好。但是，单元测试失败了

原因是在单元测试的上下文中调用模型方法时，open(self.public_filename)正在返回一个StringIO包含图像数据的对象。这个对象的path方法返回nil并MiniMagick::Image.from_file炸毁。

当从 调用这个相同的模型方法时PhotosController，open(self.public_filename)返回一个FileIO与名为 eg 的文件绑定的实例，/tmp/open-uri7378-0该文件包含图像数据。

想着一定是测试和开发环境的差异，我在开发环境下启动了控制台。但就像在单元测试中一样，open('http://...')返回 a StringIO，而不是a FileIO。

我已经通过 open-uri 和所有相关的特定于应用程序的代码追踪了我的方式，并且找不到任何差异的原因。

如果有一个我可以从我的 AWS 账户读取/写入访问权限的存储桶，有没有办法获取所有者的 CanonicalUser id？

除非您是所有者，否则阅读 ACL 策略似乎是不可能的：/。

所以我知道这是一个常见问题，但似乎没有任何好的答案。

我有一个带有 gobs（我不知道有多少）文件的桶。它们都在2k以内。

1）我如何弄清楚我有多少这些文件而不列出它们？我使用了 s3cmd.rb、aws/s3 和 jets3t 的东西，我能找到的最好的方法是计算前 1000 条记录的命令（真正对它们执行GETS）。

我也一直在使用 jets3t 的小程序，因为它非常好用，但即使我无法列出所有对象，因为我的堆空间用完了。（大概是因为它正在对所有这些执行GETS并将它们保存在内存中）

2）我怎样才能删除一个桶？我见过的最好的事情是并行删除循环，它有问题，有时它会尝试删除同一个文件。这就是我遇到的所有“删除所有”命令的作用。

你们那些吹嘘托管数百万张图片/txt的人做了什么？当你想删除它时会发生什么？

3）最后，是否有其他答案？所有这些文件都是 txt/xml 文件，所以我什至不确定 S3 是否值得关注——也许我应该将其移至各种文档数据库？

归结为，亚马逊 S3 API 直接缺少 2 个非常重要的操作—— COUNT 和 DEL_BUCKET。（实际上有一个删除桶命令，但它只在桶为空时才有效）如果有人想出一种不糟糕的方法来执行这两个操作，我很乐意放弃很多赏金。

更新

只是为了回答几个问题。我问这个的原因是我在过去一年左右一直在存储数十万，更像是数百万个 2k txt 和 xml 文档。上一次，几个月前，我希望删除它确实需要 DAYS 天才能删除的存储桶，因为存储桶必须是空的，然后才能删除它。在没有 API 支持的情况下，我担心再次这样做是一件非常痛苦的事情。

更新

这把房子震撼了！

http://github.com/SFEley/s3nuke/

我在几分钟内就获得了价值 1-2k 文件的好几场演出。

我编写的一些 PHP 代码将文件上传到 S3，然后调用 EC2 实例对上传的文件执行操作，我得到了不同的结果。

这是我做事的顺序-

1）使用S3类放文件

2) 检查 $result

3) 使用 cURL 调用 EC2 实例并对 S3 中的文件执行操作

我将它与视频文件一起使用，当我上传一个小视频文件时它可以正常工作（例如 3MB），但对于较大的视频（例如 80MB），代码似乎没有超过第 1 步。文件被移动到 s3 好的，但我猜是一段时间后 PHP 放弃等待查看 $result == 1 ，因此不执行其余代码。

处理此类事情的最佳方法是什么？如何检测文件已上传到 S3，然后运行一些代码？

我已经看到了将文件直接上传到 S3 的方法，并且我已经看到了将文件上传到服务器上的方法。在将文件发送到 S3 之前，我需要修改文件的名称，但我不想将其存储在本地然后上传，如果我能提供帮助的话。有没有办法把它放在缓冲区或什么的？谢谢。

是否可以使用他们的服务器将文件上传到亚马逊 S3（即我的服务器不应该在上传过程中使用）？

我还希望 URL 似乎正在上传到我的服务器，这可能吗？

您可以对上传到 S3 的文件设置权限吗？

或者，如果有人知道文件的公会/url，他们可以公开访问它？

如果是，我们可以设置什么样的权限？

我需要使用重新创建以下 PHP 代码的用户定义函数从 mysql 数据库中检索结果 -

UDF 能胜任这项工作吗？将 AWS 密钥存储在 UDF 中/将其作为变量传递有哪些安全隐患？

理想情况下，我希望能够做到这一点 -

但我认为 myPHPfunctionToSignFilename 需要是 MYSQL-UDF-FUNCTION ...

有什么建议么？

谢谢

斯蒂芬