amazon-web-services - 在单个 S3 存储桶中粘贴大量文件是否存在问题？

Question

我有大量（700,000+）文件（平均约 50kb）要存储在 S3 上。我不确定是否应该将它们全部放在一个桶中（就我而言这很好），或者将它们分成更小的桶。

我只是担心如果文件都在一个存储桶中，S3 可能需要更长的时间来提供文件，就像你在 Unix 目录中粘贴太多东西一样。这是一个担心，我应该把它们分成更多的桶，还是只做最简单的事情并将它们放在一个桶中？

Answer 1

我自己并没有存储那么多对象，但是大量对象（甚至在一个存储桶中）正是 S3 旨在处理的任务。检索该存储桶中对象的完整列表显然是一项相当大的任务，但它不应损害 S3 查找键并返回您放置在那里的对象的能力。

应该告知您，即使 S3 正常，某些工具（例如，用于“浏览”S3 的图形工具，或执行删除每个对象后删除存储桶等操作的某些工具）也不能很好地处理此问题。这只是需要注意的事情。