我一直在使用多部分上传将 200+GB 的文件放入 S3。然后我必须通过 Web 界面将其下载到 EBS 卷中。还有比这更有效的方法吗？
问问题
4364 次
3 回答
1
您可以将 EBS 卷附加到 EC2 实例并在该实例上运行 FTP 服务器。将 FTP 服务器指向附加的 EBS 卷，然后通过 FTP 上传您的文件 - 它将直接写入 EBS 卷。
您可能希望使用可以支持恢复中断传输的 FTP 服务器和客户端，例如FileZilla。
于 2012-06-08T21:07:06.817 回答
1
选项 A
使用 AWS Import/Export 服务将文件复制到硬盘并将物理媒体运送到 Amazon 可能会更快、更容易：
然后，AWS 会将内容复制到您指定的 S3 或 EBS 卷中，并将磁盘寄回给您。
选项 B
这是我建议测试的另一种方法：
将文件分成多个部分（例如，使用“split”）
创建 EBS 卷并附加到正在运行的 EC2 实例（较大以获得高带宽）
rsync 使用压缩 (-z) 与多个并行运行的 rsync 进程同步片段。 并行处理多个以解决延迟问题至关重要，否则会减慢传输速度。
将这些片段粘贴回目标 EBS 卷上的单个文件中（例如，使用“cat”）
于 2012-06-07T21:13:42.570 回答
0
为什么不将 EBS 附加到 EC2 实例，然后只保存rsync文件？rsync如果文件传输在完成之前断开连接，则允许您执行从压缩到自动完成的所有操作。
rsync -a --progress myfile ec2-50-19-445-218.compute-1.amazonaws.com:~/
于 2012-06-09T03:45:15.257 回答