我在 S3 实例上有一个 200GB 的大文件,我正在考虑将它移到我的本地做一些工作。我的想法是先 gzip 文件,然后 scp 到我的本地机器,以降低 S3 的 IO 成本并节省一些时间。
但是,S3 中的 gzip 步骤需要很长时间。我的想法是S3实际上是一个大磁盘,不知何故,数据实际上是流回EC2,然后又回到S3,IO花费了太多时间。
我想知道我该如何解决这个问题。
我在 S3 实例上有一个 200GB 的大文件,我正在考虑将它移到我的本地做一些工作。我的想法是先 gzip 文件,然后 scp 到我的本地机器,以降低 S3 的 IO 成本并节省一些时间。
但是,S3 中的 gzip 步骤需要很长时间。我的想法是S3实际上是一个大磁盘,不知何故,数据实际上是流回EC2,然后又回到S3,IO花费了太多时间。
我想知道我该如何解决这个问题。