11

我有一个 1-Gig EBS 卷安装到 EC2 实例，我正在从本地硬盘驱动器（通过 RDS 连接）复制 600MB 的二进制数据，并且复制过程窗口显示10 Hours剩余。虽然我有高速连接（100+Mbps）

无论数据量如何，数据传输速率都是 1 分钟 / MB（即 16Kbs / 秒）。
我正在犹豫是在我的工作站前阅读《白鲸记》还是只是休息一天。

是否有任何合理的选择来加快此传输速率？
（理想情况下至少为 512 Kbps/秒）

我非常愿意接受任何缩短上传/下载到 EC2 实例的时间的解决方案。

提前致谢。

编辑：
我刚刚偶然发现 [Amazon Export/Import Service][1] “ AWS Import/Export 加速了您邮寄给我们的 AWS 云和便携式存储设备之间的大量数据传输”
通过“邮寄给我们”，他们字面上意味着您“实质性地”将您的存储设备运送到亚马逊。
不要说这是 Stoneage，这是全新的技术，伙计！:-)

EDIT2：
这听起来很棒：[用于 AW 的 Aspera][2] 但不幸的是太贵了；
专为财富 500 强企业量身定制，需求大，现金充裕。

4

2 回答 2

16

有时，如果您想完成某件事，最好自己动手 :-)

我没有在网上找到任何令人满意的东西，所以我花了一个晚上自己做了一个相当完整的基准测试。我已经测试了一些替代方案/方案，结果如下：

安装在 EC2 上的 FTP 服务器是 Filezilla 服务器（正确的配置是敏感的）
用于此 Bench 测试的 FTP 客户端是 WinSPC（Filezilla 客户端不起作用。请参阅其他帖子
图例：[HC] 代表家庭连接（100MBps）

上传带宽
RDS上传：15 Kb/S => 更糟糕的
FTP 上传 [EC2 上安装的 FTP 服务器]：100 Kb/S
从 HC 从 AWS 管理控制台上传到 S3：60 Kb/S
从 EC2 使用 AWS 控制台界面上传到 S3：145 Kb /S
使用S3 浏览器从 HC 上传到 S3：120 Kb/S
使用S3 浏览器从 EC2 上传到 S3：2000 Kb/S

下载带宽
RDS 下载和上传：15 Kb/S => 更糟糕的
FTP 下载 [EC2 上安装的 FTP 服务器]：360 Kb/S
从 EC2 的 AWS 控制台界面下载：350 Kb/S
使用S3 浏览器从 S3 下载：从HC：380 到 620 Kb/S
使用S3 浏览器从 S3 下载：从 EC2：3000 Kb/S

结论：

因此，到目前为止，Amazon S3 与 S3 Browser 结合使用效果最好。（S3 浏览器只是 S3 之上的一个层，我不明白为什么上传速度更好）

但是，应该记住，EC2 实例上的 FTP 服务器具有将本地 EC2 目录直接映射到 EC2 的巨大优势. 与 S3 不同，它只涉及一次传输。实际上，S3 需要 2 次传输：从本地资源到 S3/以及从 S3 到 EC2，反之亦然，而 FTP 访问通过缩短传输周期来授予即时性。此外，它还节省了 S3 存储桶的成本。

值得一提的是，EC2 Instance 的带宽确实很强。因此，使用 S3 或 FTP 等真正利用它的协议而不是 RDS 更有趣——不用说。

我希望这对面临同样问题的其他人有用，并节省他们宝贵的时间。

于 2011-05-07T01:51:17.680 回答
1

使用 Aspera 或 Tsunami UDP 并将 600 MB 移动到您的 Amazon EC2 基础设施（跳转框）。然后在内部从 jumpbox 复制到 windows ec2。我的基准测试显示 tsunami UDP 与传统模式相比要快得多。

于 2013-05-23T06:14:46.290 回答