Rackspace 云文件使用平面存储系统,使用“容器”来存储文件。根据 Rackspace 的说法,每个容器的文件数量没有限制。
我的问题是每个容器是否有最佳/最有效的文件数量来优化写入/获取性能。
如果我有数以万计的文件要存储,它们应该全部放在一个巨大的容器中还是分成许多较小的容器?如果是这样,最佳容器尺寸是多少?
Rackspace 云文件使用平面存储系统,使用“容器”来存储文件。根据 Rackspace 的说法,每个容器的文件数量没有限制。
我的问题是每个容器是否有最佳/最有效的文件数量来优化写入/获取性能。
如果我有数以万计的文件要存储,它们应该全部放在一个巨大的容器中还是分成许多较小的容器?如果是这样,最佳容器尺寸是多少?
仅供参考:[摘自机架空间支持的片段]
长话短说,容器是数据库,表中的行越多,在标准硬件上编写它们所需的时间就越多。当写入尚未提交到磁盘时,它位于队列中,并且会丢失数据。这是我们在大型容器中注意到的事情,对象越多,发生的可能性就越大,因此我们制定了保护数据的限制。
由于速率限制,您的数据是安全的,它只是稍微减慢了写入速度
限制从低至 50,000 个对象开始,在该级别上,它将您限制为每秒 100 次写入
容器中的 1,000,000 个对象,每秒 25 个
在 500 万次及以上时,每秒写入次数减少到 4 次
对于这些限制,我们深表歉意,并将更新我们的文档以更清楚地表达这一点。
- 这最近对我们造成了很大的伤害。以为我会分享,直到他们获得最新的 API 文档,以便其他人可以围绕这个问题进行计划。
我们建议每个容器不超过 100 万个对象。系统默认每个列表请求最多返回 10,000 个对象名称。
Cloud Files 开发于 2013 年 9 月 20 日更新:由于 Cloud Files 切换到所有 SSD 容器服务器,每个容器推荐 100 万个对象不再准确。此外,该列表一次限制为 10,000 个容器。