我必须为我尝试创建的应用程序设置数据管道，但我不知道该怎么做。
我在数据库中有 2 个实体：A 和 B，每个实体 B 都属于一个实体 A。
每分钟，我都会获取许多 B 实体，但缺少一个字段（在每个 B 实体上）。因此，在保存 B 实体之前，我需要在每个实体上计算该字段。给定一个 B 实体和相应的 A 实体，我需要保存属于 A 实体的最后 20 个 B 实体（在数据库中，因此没有丢失的字段）来计算丢失的字段。
每分钟的伪代码是：
- 获取要保存的新 B 实体列表的 http 请求。
- 对于每个 B 实体：
- 读取 B 实体的 A 实体（B 实体有一个字段，其 id 为它们所属的 A 实体）
- 获取保存的 A 实体的最后 20 个 B 实体
- 计算缺失字段并保存 B 实体
数量级：每分钟 20k A 实体、3000 万 B 实体保存和 1k 新 B 实体（这 1k B 实体属于大约 300 个 A 实体）
我认为我可以实现一个缓存系统，为每个 A 实体存储最后 20 个保存的 B 实体，而不是每分钟查询数据库以获取为每个 A 实体保存的最后 20 个 B 实体。
所以我的第一个想法是：
- 使用缓存系统 ( https://dashbird.io/blog/leveraging-lambda-cache-for-serverless-cost-efficiency/ ) 实现 AWS lambda 函数，该系统每分钟执行一次描述的所有逻辑。
- 添加一个每分钟调用 lambda 函数的 CRON。
- 数据存储在 AWS 上的 sql 数据库 (mysql) 中。
由于这是我第一次必须设置数据管道，我注意到我的第一个想法是好的，我有多个问题：
- 你将如何实施它？
- 缓存是个好主意吗？只查询数据库更好吗？
- AWS 是一个不错的选择吗？
- CRON 有 1 分钟的限制，所以我达到了 CRON 的限制......</li>
- 缓存的结构将是一个带有键的字典：实体 A id（20 个字符的字符串）值：20 个数字的列表（20k A 实体，因此 20k 键值对）。在 AWS lambda 函数上构建这样的数据缓存是否有意义？
- 您是否建议我使用数据管道框架或其他技术？
提前感谢您的反馈:)