-1

我们正在研究一种解决方案,该解决方案可以处理系统生成的日志文件,并对这些日志进行各种分析操作,以提出有助于对问题进行分类的不同视图。例如,构建一系列在日志中重复出现的错误消息。

目前,我们正在将日志数据加载到 java 集合中,并通过迭代/搜索这些影响性能的集合来执行所有操作。我们正在考虑将数据加载到数据库中并对数据进行查询以获得优化的搜索结果。同样,我们正在考虑使用内存数据库,这将比持久存储提供更好的性能,因为磁盘读/写将被最小化。

一次要分析的数据量可能高达几 GB(2-4 GB),因此可能超过机器上的 RAM 大小。

问题:对于这样的 In-Memory db,可以考虑哪些选项?GridGain 是一个不错的选择吗?

我们的大多数解决方案都应部署在单个节点上,因此分布式功能不是优先事项。可以为此目的推荐哪些其他内存数据库

4

1 回答 1

1

You could try column store in-memory databases. They usually can achieve better compression ratio than row store db, and are designed for analytical tasks. Examples are MonetDB (open source), Vertica, InfiniDB and so on.

于 2014-07-10T08:56:11.767 回答