我的目标是从 S3 文件中获取数据，转换并将其保存到数据源（可以是 dynamoDB 或 RDS）。并且文件大小将<20MB，并且可能会定期（每天一次）上传多个（~10）个此类文件。我正在考虑使用以下方法。
- AWS 拉姆达
- AWS 批处理。
理想情况下，文件处理时间应少于 15 分钟，但不能保证文件大小。所以理论上文件处理可能超出 lambda 的处理能力。所以我想到的方法是事先检查文件处理是否可以通过lambda完成。如果是，则调用 lambda。否则触发批处理作业。到目前为止，我正在考虑使用 dynamoDB，但不能保证项目大小 < 400KB，但实际上项目大小会 <400KB。如果我将数据库切换到 RDS，我提出的设计会有什么不同吗？
我的另一个问题是何时考虑使用 AWS 数据管道或 EMR 或 Glue 等传统 ETL 方法。