2

我们使用 S3 存储通过我们的应用程序上传的各种媒体,例如图像、文档等。我们在物业软件行业工作,作为与物业门户交换存储在我们系统中的数据的一种方式,门户之间的常见交换格式是 Rightmove BLM 数据饲料规格。这本质上是一个 zip 文件,其中包含一个分隔文本文件和通过 FTP 发送到每个门户的任何相关媒体。然而,该过程中的一个瓶颈是从 S3 下载媒体以进行压缩。例如,我们系统上的一个帐户可能有大约 1000 个图像/文档可供下载和压缩以准备传输(每个文件必须以特定格式的特定门户命名(唯一编号、序列号等) . 但是,通过 PHP SDK 将 1000 个图像/文档从 S3 下载到同一区域的 EC2 服务器需要一些时间(60 多秒)。当同时为多个帐户执行此操作时,它会给服务器带来相当大的负载。

是否有更好/更快的方式从 S3 下载文件,以便在 EC2 实例上进行准备和压缩?

谢谢。

4

1 回答 1

0

一种选择是在添加文件时聚合 zip。意思是,在将文件添加到 S3 存储桶或在 S3 存储桶上更新时,使用 Lambda 函数将它们添加到 zip 文件,而不是一次压缩所有文件。然后,zip 将或多或少按需提供。

于 2015-10-13T15:19:55.170 回答