我正在开发一个在 EC2 上作为 Web 服务托管的数据处理应用程序,每秒生成一个 .csv 格式的小数据文件(小于 10KB)。
问题陈述: 将生成的所有数据文件存档到 Amazon Glacier。
我的方法: 因为数据文件非常小。我将文件存储在 AWS Kinesis 中,几个小时后,我将数据刷新到 S3(因为我找不到将数据从 Kinesis 放入 Glacier 的直接方法)并在一天结束时使用 S3 生命周期管理将所有对象存档到 Glacier .
我的问题:
有没有办法直接从 Kinesis 将数据传输到 Glacier?
是否可以将 Kinesis 配置为在一天结束时将数据刷新到 S3/Glacier?Kinesis 可以保存数据是否有任何时间或内存限制?
如果 Kinesis 无法直接将数据传输到 Glacier。有没有类似的解决方法 - 我可以编写一个 lambda 函数来从 Kinesis 获取数据并将其存档到 Glacier 吗?
是否可以在 Kinesis 或 S3 或 Glacier 级别合并所有 .csv 文件?
Kinesis 适合我的用例吗?还有什么我可以使用的吗?
如果有人能花时间回答我的问题并指出一些参考资料,我将不胜感激。请让我知道我的方法是否存在缺陷,或者是否有更好的方法。
谢谢。