1

我正在使用 Apple 的 iTunes EPF 数据文件。我每天需要下载、解压缩然后处理 .tbz 文件中的 1-3GB 数据。

我有一个 Rails 应用程序,托管在 Heroku 上,大部分资产存储都在 S3 上处理。

但我遇到的问题是从 Apple 获取 EPF 文件的流程。

我将下载 3 个文件。每个都是 .tbz 文件,大小从 1GB 到大约 20MB 不等。

Heroku 没有办法可靠地存储文件,所以我假设我需要将文件直接下载到 S3?那我会以某种方式在那里解压缩它们吗?

这就是我遇到障碍的地方。我知道如何实际从 Apple 获取文件并传输到 S3,但解压缩它们是我不关注的地方。

由于数据文件可能非常大,因此最大限度地减少通过 S3 的传输对于降低成本至关重要。

是否有服务可以让我将 Apple 文件下载到他们的服务器,解压缩,然后将必要的文件上传到 S3?

4

1 回答 1

0

Heroku 的文件系统是短暂的,但您仍然可以写出/tmp作为临时暂存空间来下载、解压缩、执行您需要的任何处理、重新打包(如果需要),然后上传到 S3。由于自动测功机重新启动(或手动重新启动),只需确保您的服务知道如何在中断时优雅地恢复。

于 2013-04-25T17:35:36.407 回答