我们使用 S3 存储通过我们的应用程序上传的各种媒体,例如图像、文档等。我们在物业软件行业工作,作为与物业门户交换存储在我们系统中的数据的一种方式,门户之间的常见交换格式是 Rightmove BLM 数据饲料规格。这本质上是一个 zip 文件,其中包含一个分隔文本文件和通过 FTP 发送到每个门户的任何相关媒体。然而,该过程中的一个瓶颈是从 S3 下载媒体以进行压缩。例如,我们系统上的一个帐户可能有大约 1000 个图像/文档可供下载和压缩以准备传输(每个文件必须以特定格式的特定门户命名(唯一编号、序列号等) . 但是,通过 PHP SDK 将 1000 个图像/文档从 S3 下载到同一区域的 EC2 服务器需要一些时间(60 多秒)。当同时为多个帐户执行此操作时,它会给服务器带来相当大的负载。
是否有更好/更快的方式从 S3 下载文件,以便在 EC2 实例上进行准备和压缩?
谢谢。