0

我正在为上传大文件进行一些性能测试，大约为 100MB+。我已经阅读了有关分解和并行上传片段的帖子，但我只是想弄清楚一个大文件的速度有多快。

当我使用 collectl 逐秒上传并观看性能时，我永远不会超过 5MB/秒。另一方面，如果我将文件大小减少到 50MB，我可以以 20MB/秒的速度上传。

是否有一些基于文件大小的魔法？有没有办法让我的单个 100MB 文件上传更快？如果是 500MB 甚至 5G 会怎样？

嗯，我试了很多次，一直得到 5MB/秒，现在当我再次尝试时，我超过了 15。这是因为我在共享带宽吗？

-标记

4

1 回答 1

0

boto 绝对没有任何魔法可以解释您观察到的可变性。这个等式中有很多变量，例如您自己与互联网的连接、您的提供商与骨干网的连接、整体网络流量、S3 上的负载等，因此很难得到明确的答案。

总的来说，我发现我可以通过使用分段上传和某种并发来获得最佳性能。boto 中的s3put命令行实用程序提供了执行此操作的一种方法的示例。此外，如果您的 S3 存储桶位于特定区域，如果您连接到该特定端点而不是通用 S3 端点，您可能会看到更好的性能。

于 2013-02-26T13:38:22.113 回答