amazon-s3 - AWS EC2 S3 和数千个目录，每个 s3cmd 中有几个文件

Question

我在非 AWS VPS 上有数以万计的目录，每个目录中都有几个文件（大约 1TB 的数据）。我想将它们全部移至 S3。

我可以将它们压缩成 7GB 的块，移动（wget 或其他）到 EC2（8GB Ubuntu），解压缩并将它们 s3cmd 到 S3。

或者

使用 s3cmd 同步目录从我的 VPS 直接进入 S3？

哪种方法最适合性能和可靠性？

谢谢

Answer 1

有两个因素会为我做出决定。

1. 平均文件大小是多少？（数千个小文件可能比几个大文件花费更多时间）
2. 你能得到什么样的压缩？

如果您决定使用中间实例，则可以附加 1 TB EBS 卷来在传输时处理文件。它会增加一些成本，但是一旦完成，您就不需要保持音量。