amazon-ec2 - 如何使用 s3fs 从 S3 存储桶挂载将文件和目录复制到 EBS

Question

我在一个带有 S3FS 的 EC2 实例中将 S3 存储桶挂载为卷。我已经用 PHP 在那里创建了一个超过 20GB 的目录结构。

当 S3FS 耗尽实例内存并且上传速度非常慢时，我想将所有文件移动到附加到同一实例的 EBS。

我尝试过 S3CMD，但存在一些不兼容，因为 S3FS 在存储桶中创建了与目录同名的零大小对象。

还尝试编写脚本以递归方式复制跳过那些零大小对象的结构。

没有工作。

有没有人尝试过这样做？在此先感谢您的帮助。

Answer 1

@hernangarcia 不要让事情变得复杂，使用递归 wget 那个 wget -r 后跟存储桶端点的 url。您可以将所有内容下载到 EBS 卷。另外我的建议是不要在实例的根卷上存储所有那些像 20 GB 的文件，而是将另一个卷附加到它，然后将所有这些文件存储在那个额外的卷中，如果你有一个高 IOPS 卷，那么操作会更快。