我正在寻找将大约 100,000 张图像从服务器传输到我的 Amazon S3 存储桶的最快方法。
那是循环遍历每个图像并执行单独的 PUT 请求吗？我希望有一个更快的方法，但没有找到任何东西。
问问题
7310 次
5 回答
6
也许试试蜗牛邮件？
于 2009-06-18T03:55:32.750 回答
2
s3漏斗。我上周使用它将大约 3,000,000 张图像传输到 S3。它是多线程的，因此往往非常快。我测试了许多商业和开源工具，s3funnel 是迄今为止最好的 IMO。
于 2012-02-28T15:18:22.617 回答
0
不熟悉 S3，但如果没有批量上传工具，您可以通过在多个并行进程中循环您的图像来加快速度，直到您最大化您的网络连接。
于 2009-06-18T02:21:49.223 回答
0
您可以尝试使用Image Uploader批量上传控件。或者，如果这是我考虑使用一些Amazon sample的一次性任务。
无论如何，如果您想使用 PUT/POST 请求进行上传，每个请求一个文件 - 是亚马逊的 API 限制，在我看来，没有什么可做的。
于 2009-06-18T03:07:15.980 回答
0
我们 ( CloudOpt ) 构建了一个解决方案来优化数据传输到 Amazon S3，称为 CloudOptimizer。它使用对称重复数据删除、压缩和许多其他技术。看看，让我知道你的想法。我很想得到你的反馈。
于 2011-11-30T04:31:52.163 回答