寻找关于存储原始数据的意见。属于“跟踪任何事物”类别的数据类型。主要用于内部分析驱动方向,测试新功能等。
存储数据非常容易。只需将其转储到日志文件中,无需数据库。另一方面,如果你想对其进行复杂的分析和数据挖掘,那么数据库是有帮助的。
所以我正在考虑将原始数据存储在 Redis 中。Redis 的写入速度很快。不适合存档。非常适合临时数据。如果需要,我可以写信给 Redis,然后将结果集存档以供将来分析。
当归结为聚合成更易读/分组的格式时。像 Postgres 这样的 RDBMS 就足够了。但是,我正在考虑使用 MongoDB 的文档结构。非常适合读取,并添加了它们的聚合框架。
我可以分批聚合来自 Redis 的原始数据,也许是在一个 cron 作业或工作进程中,定期。
这是一个例子。我非常热衷于 Mongodb 的聚合部分。我可以考虑使用哪些其他设置/解决方案来存储数百万个原始数据?在这方面有哪些最佳实践?