amazon-s3 - 如何在命令行将文件从远程服务器移动到 s3

Question

我在远程服务器上有很多大文件，我想将它们移动到 S3 中。我想在命令行或使用 bash 脚本（例如，我不想使用像 cyberduck 这样的 gui 应用程序）来执行此操作，以便我可以自动化/复制工作。

我尝试使用 Osxfuse 和 sshfs 将远程服务器安装到本地计算机上，然后使用 s3cmd 将其推送到 s3。这确实有效，但我一直遇到错误（无明显原因的连接丢失；安装错误等）。

这是最好的方法吗？有谁知道更好的方法吗？

谢谢

Answer 1

您可以使用minio 客户端 aka mc来做同样的事情。

$ mc cp --recursive localDir/  s3/remoteBucket

如果网络断开，mc 将为您提供恢复上传的选项。

Answer 2

您的远程服务器在 ec2 中吗？您当前的设置需要两个副本（首先通过 sshfs 将数据提取到本地计算机，然后通过 s3cmd 推送到 s3），如果您直接在远程服务器上运行 s3cmd，则可以将其减少到一个。

如果要将 s3 挂载为文件系统，还可以使用goofys或s3fs等工具。同样，您应该在远程服务器上执行此操作以避免额外的副本。