问题标签 [amazon-s3]

虽然@http://highscalability.com/amazon-architecture的帖子总体上解释了 Amazon 的架构，但我有兴趣了解 Amazon S3 是如何实现的。

我的一些猜测是

1. 像 HDFS 这样的分布式文件系统 http://hadoop.apache.org/core/docs/current/hdfs_design.html
2. 一个非关系持久数据库，如 CouchDB http://couchdb.apache.org/

是否可以使用 Python 或 PHP 等脚本语言在更小范围内实现类似的功能？

如何将 Amazon S3 url 从 http://bucket.amazons3.com/imagepath.jpg更改 为 http://image.mydomain.com/imagepath.jpg

编辑：基本上，这样做的全部原因是对我的用户隐藏 amazon s3 url。

我正在考虑一个 HttpModule，它将请求从 image.mydomain.com 重定向到 bucket.amazons3.com。但这需要我的服务器首先处理所有请求，然后再转发。

在获取 Amazon S3 存储桶中某物的 URL 时，它可以在末尾附加一个签名以确认用户有权查看该对象，并且该 URL 如下所示：

https://mybucket.amazonaws.com/mykey?AWSAccessKeyId=myaccesskey& Expires=1235241261&Signature= t5vFBWXaN0DvVaWfck9n2%2fmTzOU%3d

这些 URL 作为字符串对象从我的 S3 库中返回，我就这样传递它们。最近我通过 FxCop 运行我的代码，它建议我使用Uri该类来传递 URL。我接受了 FxCops 的建议并将我的 URLstring属性更改为Uri属性。一切似乎都运行良好，直到很久以后我才注意到并非所有对象都被成功取回。

问题的原因是Uri类ToString()函数会返回一个稍微不同版本的 URL：

https://mybucket.amazonaws.com/mykey?AWSAccessKeyId=myaccesskey& Expires=1235241261&Signature= t5vFBWXaN0DvVaWfck9n2/mTzOU=

我的解决方案是使用类的OriginalString属性Uri。但是对此感觉有些不对劲，我有两个问题，

• 我应该接受 FxCops 的建议并使用Uri课程吗？
• 亚马逊是否应该意识到 URL 可能会经过许多人的手，而不是依赖于它们以完全相同的方式返回？

对于使用 .Net Uri 类，我可以确定我的 URL 始终有效，但它似乎会导致更微妙的错误。

我正在使用 Amazon S3 来托管图像。S3 存储桶是私有的，因此我生成了一个临时 URL（使用Right AWS），有效期为 5 分钟，以允许呈现图像。URL 如下所示（注意：下面的 URL 将不起作用）：

这很好用，我可以将 URL 粘贴到 Firefox 中并显示图像。IE也一样。但是，当我在 Safari 中尝试时，URL 似乎可以解析，但没有显示图像。同样，如果我尝试在网页上的IMG标记的src属性中使用 URL，则 Safari 不会呈现任何内容（在所有其他浏览器中都可以），例如：

替代文字 http://lylo.co.uk/screenshot.png

有没有人见过这种行为，你能指出我可能做错了什么吗？

您使用哪些工具或策略来实现 EC2 活动的自动化？

我需要能够启动多个 EC2 实例，为其提供各种软件（主要是 Python 包），与 S3 交互（主要是下载数据），并运行各种作业。我将按需和按计划执行此操作。

我正在尝试决定是否应该：

• 创建一个加载了我所有软件的 AMI，或者
• 启动一个普通的 vanilla linux AMI 实例并将我的软件 scp 到它

对于配置和自动化，Boto看起来相当不错。或者我可以用Paramiko写一些东西。推荐任何一个或其他我应该看的东西？

基本上我正在寻找建议/成功案例，让我知道什么对你有用。

我正在尝试对Amazon S3 python 库进行陪审，以允许对大文件进行分块处理。现在它执行“self.body = http_response.read()”，因此如果您有一个 3G 文件，您将在对其进行任何控制之前将整个内容读入内存。

我目前的方法是尝试保持库的接口相同，但在读取每个数据块后提供回调。类似于以下内容：

现在我需要做类似的事情：

加入是正确的方法还是有另一种（更好的）方法将所有块放在一起？

I'm thinking about serving user-specific static content from S3 - the user needs to be authenticated in order to access his static content. So if user A has content c1, c2 and use B has c3, c4, only A should be able to access c1, c2 .

What's a good way to accomplish this? Is there a way to perform per-user / per file authentication in S3?

我目前正在尝试编写一个类似于互联网上其他系统的自定义图像裁剪系统，用户可以在其中选择一个裁剪区域，然后相应地裁剪他们的图像。该应用程序位于 Rails 中，我们使用带有 Amazon S3 的 Paperclip 来存储文件。尽管让 RMagick 从 S3 适当地裁剪文件，但我遇到了很多麻烦。这是当前代码（不起作用）：

主要问题是裁剪后的图像没有通过回形针上传回 S3，因此没有正确裁剪。以前有人用回形针尝试过这样的事情吗？这甚至不可能，但任何帮助将不胜感激。

您能够收集到哪些关于亚马逊网络服务如何工作的信息？

• 他们使用什么硬件
• 什么网络服务器
• 什么操作系统
• AWS 的存储空间
• EC2/EBS 用什么虚拟化软件
• 他们为 EC2 分发防火墙的软件是什么
• 其数据中心的物理位置。

我非常喜欢他们的服务，并在工作中大量使用它们……只是出于好奇。如果您知道/听说过/阅读过并想告诉您，如果您在网上看到了一些东西并想提供链接，非常感谢。

只是想确认没有编写替换函数就无法扩展或替换 Html.Image 功能。

我想编写一个函数，它将使用 Amazon 的 S3 服务来托管图像。

我想出的最好方法是一个辅助方法Html.SmartImage，它会检查配置属性，看看我是否想去亚马逊。它甚至可以检查远程托管的文件数据库，如果它们在该列表中，则仅“将它们排除在外”。

当我完成它时，我会发布我所拥有的 - 但对任何“开箱即用”的想法感到好奇。