我正在编写一个将(可能数百万个)对象存储在 S3 存储桶中的应用程序。我的应用程序将获取最新的对象(大致),对其进行处理,然后将其写回同一个存储桶。我需要一种访问键和命名新对象的方法,以便应用程序可以轻松获取最新对象。
我知道我可以通过将元数据放入 SimpleDB 来正确地做到这一点,但我不需要硬一致性。如果应用程序抓取了一个不是最新的对象,那也没关系。我只需要该应用程序倾向于获取新键而不是旧键。所以我试图通过单独使用 S3 来保持简单。
有没有办法访问和排序 S3 元数据?或者可能有一个命名对象的方案来获得我需要的东西(因为我知道 S3 按字典顺序列出键并且 boto 可以处理分页)。