我们有一个庞大的历史交易数据集,并且我们有一个系统需要根据该数据集中的每个历史交易检查新交易。
这涉及对每个历史交易运行算法,该算法会针对新交易产生匹配分数。这意味着按顺序处理事务,我们不能使用索引或散列来尝试减少需要检查的事务数量。
其他几点,事务总是添加到数据集中,并且永远不会被驱逐。此外,我们通过在不同服务器上的工作人员之间拆分数据集来分配处理。
刚才系统使用Java Collection 类将事务数据集缓存在内存中。这主要是因为速度要求,因为它提供了对事务的快速顺序访问。
我想知道是否有任何缓存系统(例如 EHCache)可以帮助我们将数据集分布在不同的服务器上,但仍然提供对缓存中记录的快速顺序访问。