问题标签 [boto]

是否可以使用带有字符串而不是文件的 S3 分段上传？我正在使用的字符串是在上传过程中生成的，因此在分段上传开始时大小和确切内容是未知的。

我正在尝试使用 django-storages、boto 和 sorl-thumbnail 将我的图像缩略图并存储在 s3 上。我有它的工作，但它很慢，即使是小图像。我不介意保存表单并将图像上传到 s3 时速度很慢，但我希望它在此之后快速显示图像。

这个 SO question 的答案解释说，在第一次访问之前不会创建缩略图，但您可以使用 get_thumbnail() 预先创建它。

Django + S3 (boto) + Sorl Thumbnail: 优化建议

我正在这样做，现在似乎 thumbnail_kvstore 表中的所有条目都是在上传图像时创建的，而不是在显示时创建的。

问题是显示图像的页面仍然很慢。查看调试工具栏中的日志记录面板，看起来与 s3 的通信仍然很多。似乎在上传和缓存图像和缩略图后，页面应该快速呈现而不与 s3 通信。

我究竟做错了什么？谢谢！

更新：weak hack 似乎已经让它工作了，但我很想知道如何正确地做到这一点：

https://github.com/asciitaxi/sorl-thumbnail/commit/545cce3f5e719a91dd9cc21d78bb973b2211bbbf

更新：@sorl 的更多信息

我正在使用 2 个视图：

添加视图：在此视图中，我提交表单以创建包含图像的模型。图片上传到s3。在 post_save 信号中，我调用 get_thumbnail() 在需要之前生成缩略图：

显示视图：在此视图中，我显示在添加视图中生成的缩略图：

没有补丁：

添加视图：在 kvstore 表中创建 3 个条目，访问缓存 10 次（6 组，4 次获取），调试工具栏的日志记录选项卡显示“建立 HTTP 连接”12 次

显示视图：kvstore 表中仍然只有 3 个条目，只有 1 个从缓存中获取，但调试工具栏仍然显示“建立 HTTP 连接”3 次

只有第 122 行的更改：

添加视图：同上，除了日志只说“建立 HTTP 连接”2 次 显示视图：同上，除了日志只说“建立 HTTP 连接”1 次

还在第 118 行添加更改：

添加视图：与上面相同，但现在我们减少到 2 条“建立 HTTP 连接”消息 显示视图：与上面相同，根本没有日志消息

更新：看起来 storage._setup() 被调用了两次， storage.url() 被调用了一次。根据时间，我会说每个人都与 s3 建立连接：

这似乎反映在 boto 日志记录中，它说“建立 HTTP 连接”3 次。

为了避免每次提交作业时设置实例的开销，我使用在每次作业完成后始终处于等待模式的作业流。但是，根据此页面，“每个作业流程中最多允许 256 个步骤”。

有没有办法通过 boto API 获取工作流中已完成步骤的数量？我无法找到使用 boto.emr.emrobject.JobFlow 类的方法。

我已经通过 boto API 多次遇到来自 Amazon EMR 的速率限制，具体如下：

该操作是一次性操作请求作业流的状态，因此不应该涉及任何速率限制。有没有其他人遇到过这个问题？此外，似乎没有太多关于 EC2 和 EMR 节流/速率限制的文档......

我正在编写一个脚本，该脚本使用 boto 启动一个新的 EC2 实例，并使用 Paramiko SSH 客户端在实例上执行远程命令。无论出于何种原因，Paramiko 客户端无法连接，我收到错误消息：

我可以使用相同的密钥文件和用户手动 ssh。有人在使用 Paramiko 时遇到问题吗？我的完整代码如下。谢谢。

我注意到 mrjob 和 boto 都不支持 Python 接口在 Amazon Elastic MapReduce (EMR) 上提交和运行 Hive 作业。是否有任何其他 Python 客户端库支持在 EMR 上运行 Hive？

我正在编写一个将（可能数百万个）对象存储在 S3 存储桶中的应用程序。我的应用程序将获取最新的对象（大致），对其进行处理，然后将其写回同一个存储桶。我需要一种访问键和命名新对象的方法，以便应用程序可以轻松获取最新对象。

我知道我可以通过将元数据放入 SimpleDB 来正确地做到这一点，但我不需要硬一致性。如果应用程序抓取了一个不是最新的对象，那也没关系。我只需要该应用程序倾向于获取新键而不是旧键。所以我试图通过单独使用 S3 来保持简单。

有没有办法访问和排序 S3 元数据？或者可能有一个命名对象的方案来获得我需要的东西（因为我知道 S3 按字典顺序列出键并且 boto 可以处理分页）。

当我尝试使用以下行删除存储桶时：

它告诉我我试图删除的存储桶不是空的。

存储桶中没有键。但它确实有版本。

如何删除版本？

我可以使用 bucket.list_versions() 查看版本列表

Java 在其 s3 连接上有一个 deleteVersion 方法。我在这里找到了该代码：

http://bytecoded.blogspot.com/2011/01/recursive-delete-utility-for-version.html

他这样做是为了删除版本：

博托有什么可比的吗？

我有一个脚本可以读取 simpledb 域并将它们写入 s3。性能充其量是平庸的。有没有办法提高阅读速度？

这是个人资料：

我得到了特定地区的 elb 详细信息，比如欧洲，然后我就可以得到与 ELB 相关的实例。问题是我无法获取这些实例的公共 dns。我要做的是

如何获取这些实例的 public_dns_name

当我尝试

AttributeError：“InstanceInfo”对象没有属性“public_dns_name”