ruby-on-rails - 下载和解压缩 Heroku 和 S3 文件的流程？

Question

我正在使用 Apple 的 iTunes EPF 数据文件。我每天需要下载、解压缩然后处理 .tbz 文件中的 1-3GB 数据。

我有一个 Rails 应用程序，托管在 Heroku 上，大部分资产存储都在 S3 上处理。

但我遇到的问题是从 Apple 获取 EPF 文件的流程。

我将下载 3 个文件。每个都是 .tbz 文件，大小从 1GB 到大约 20MB 不等。

Heroku 没有办法可靠地存储文件，所以我假设我需要将文件直接下载到 S3？那我会以某种方式在那里解压缩它们吗？

这就是我遇到障碍的地方。我知道如何实际从 Apple 获取文件并传输到 S3，但解压缩它们是我不关注的地方。

由于数据文件可能非常大，因此最大限度地减少通过 S3 的传输对于降低成本至关重要。

是否有服务可以让我将 Apple 文件下载到他们的服务器，解压缩，然后将必要的文件上传到 S3？

Answer 1

Heroku 的文件系统是短暂的，但您仍然可以写出/tmp作为临时暂存空间来下载、解压缩、执行您需要的任何处理、重新打包（如果需要），然后上传到 S3。由于自动测功机重新启动（或手动重新启动），只需确保您的服务知道如何在中断时优雅地恢复。