我的应用程序中有多个线程根据它正在执行的工作生成日志文件。它们通常在多天内运行多次迭代,并生成接近 15 - 20 GB 的数据。我从每个日志迭代中提取特定字段并将它们与日志一起存储。
我需要对这些字段进行数据分析,将来可能会从原始日志中提取更多数据。我发现自己正在编写更多代码来管理这些文件,进行求和、平均、最小值、最大值等分析,并据此生成报告。还要编写代码以确保从线程生成的数据正确存储在文件中。是否可以通过使用适当的数据库来抽象出其中一些问题?
是否有满足以下要求的数据库
基于文档
允许我进行数据分析,如求和、最小值、最大值、平均值、基于特定字段的合并等。
- 允许从日志文件中提取新数据。
- 我没有任何高性能写入或读取,因为您可以看到生成 20 GB 的数据需要几天时间。
- 我可能正在并行运行多个这样的应用程序,它们将访问同一个数据库。
- 我也想做加盟。
- 我正在研究 C#/.NET
我遇到了 RethinkDB,它看起来像我想要的解决方案,但事实证明它还没有准备好生产并且仅在 Linux 上受支持。
谢谢...