很多时候,我必须使用 java.util.collection 包中的对象,这些对象符合 Map 和 Set 接口。
当我将数百万个元组或实体插入这些对象(HashMap、TreeMap 等)时,它们的性能、插入和查找速度都慢得令人难以置信。
我设计了派生类,它们本质上是 java.util.collection 中的类的组合,可以更好地扩展性能。
我想知道是否有针对处理大量数据进行了优化的 java.util.collections 包的开源等效项。
很多时候,我必须使用 java.util.collection 包中的对象,这些对象符合 Map 和 Set 接口。
当我将数百万个元组或实体插入这些对象(HashMap、TreeMap 等)时,它们的性能、插入和查找速度都慢得令人难以置信。
我设计了派生类,它们本质上是 java.util.collection 中的类的组合,可以更好地扩展性能。
我想知道是否有针对处理大量数据进行了优化的 java.util.collections 包的开源等效项。
为了更好地执行收藏库,请尝试trove。但是,一般来说,您希望通过流式处理或其他形式的延迟加载来解决这类问题,这样您就可以在不将整个数据集加载到内存的情况下进行聚合等操作。
您还可以使用 Redis 或 CouchDB 等键值存储来存储这些数据。