我有一个工作流程，将 700gb 的文件从 ftp 服务器移动到本地服务器以进行 python 脚本处理。
我想将此过程迁移到 AWS s3 存储桶以供 lambda 处理。
我认为 AWS 数据同步是一种价格合理的解决方案 (0.0125/gb)，可以将此数据移动到 S3 存储桶。但不是来自 ftp 站点。
任何人有建议如何做到这一点？
注意：我查看了 filezilla pro，但无法使用批处理命令或脚本来自动化此过程。
问问题
2312 次
1 回答
3
由于动态内存要求和您的 FTP 站点和 Lambda 函数之间的不可靠延迟时间，AWS Lambda 不是此类工作的好选择。
看起来您正试图通过某些 AWS 服务将 700GB 数据复制到 S3 中。如果这是一个正确的陈述，那么请对以下内容进行认真的成本计算：
S3 定价是数据传输量和检索频率的函数。每月读写 700GB 数据的成本会很高。
Lambda 函数执行时间和内存。每当执行 Lambda 时，它都会将文件读入临时内存 var。这是您将获得高成本的地方，因为 Lambda 函数成本取决于使用的内存量。
其次，FTP 站点和 Lambda 边缘服务器之间的连接速度也值得一提，因为延迟越多，您将耗尽免费的 1M lambda 请求配额。
我建议在 FTP 服务器或本地本地机器上使用 Python/Ruby/PHP 脚本并将文件上传到 S3 存储桶。如果您采用这种方法，那么请考虑将数据归档到 Glacier 中，这样您就可以省钱。
如果您需要 Lambda 代码，请告诉我，我很乐意与您分享。希望这会有所帮助。
于 2020-04-08T13:00:13.043 回答