0

我在 S3 实例上有一个 200GB 的大文件,我正在考虑将它移到我的本地做一些工作。我的想法是先 gzip 文件,然后 scp 到我的本地机器,以降低 S3 的 IO 成本并节省一些时间。

但是,S3 中的 gzip 步骤需要很长时间。我的想法是S3实际上是一个大磁盘,不知何故,数据实际上是流回EC2,然后又回到S3,IO花费了太多时间。

我想知道我该如何解决这个问题。

4

1 回答 1

0

S3 并不是一个真正的大磁盘。有些层可以使它看起来像一个,但它最终不会作为一个运行。使用磁盘读取和写入块,使用 s3 读取/写入整个对象。

我猜您正在尝试使用 s3fs 来执行此操作,它会在对文件进行任何操作之前将文件复制到本地(到 /tmp)。

于 2013-10-16T18:49:40.763 回答