1

我需要将包含大量文件（800k 文件，400GB）的 aws s3 存储桶备份到谷歌云存储。Google Storage Transfer Service 似乎是一个简单的解决方案，但我对成本效益有些怀疑。

第一次它将下载整个 s3 存储桶：

  • aws 上 400 GB 的传出流量
  • 800k 在 aws 上获取请求
  • 800k 对谷歌存储的请求

第二次及以后呢？

它的成本与第一次相同还是只下载更改/新文件？

4

2 回答 2

1

根据使用控制台创建和管理数据传输的文档：“默认情况下，存储传输服务仅在源版本与接收器版本不同时覆盖对象。”

因此，第二次的成本将是 S3 和 GCS 存储桶上的列表操作的成本（需要比较以查看发生了什么变化），加上任何变化的 GET 和 PUT。我相信对象通常一次列出 1,000 个（根据每个服务中对象列表的最大页面大小）。因此，如果没有对象更改，您可以预期您的场景中的成本将是 S3 中的大约 800 次列表操作和 GCS 中的 800 次列表操作，以进行每次后续传输。

于 2018-04-23T21:55:40.740 回答
0

进入 gcp 是免费的。因此，每次都创建一个新备份，并且只保留最新的 5 个（或其他）。这样您就不必担心覆盖等问题，而且您可以将任何文件回滚到 N 个版本之前。

于 2018-04-24T03:29:48.373 回答