java - Java Berkeley DB 读取性能与 100M 文档

Question

我想知道 Berkeley DB JE 是否适合存储 100M 文档的简单键/值对。

我需要在 BDB 上获取 <75ms 的时间，获取一个文档。

提前致谢

Answer 1

为什么不使用 Apache Lucene - 一个开源信息检索引擎？我会使用 lucene 来保存索引：文档 ID 的关键字。您现在可以向 lucene 发布一个关键字（或一组关键字），获取文档 ID，并从 Berkley DB 检索文档。

Answer 2

您可能想在Berkeley DB Java 版讨论论坛上讨论您的性能要求。主要问题最终将是“您需要执行多少 I/O 才能获取数据？” 如果答案是“无”，那么 75 毫秒的响应时间就是小菜一碟。如果答案是“很多”，那么这将取决于有多少“很多”以及磁盘驱动器的速度。

BDB JE 常见问题解答页面上有一些出色的快速参考。特别是，这个可以立即使用。基本上，您希望调整缓存大小，以便至少所有索引节点都适合内存。如果索引节点适合内存，那么您最多只能执行一次 I/O 来获取数据（叶节点），除非它已经在缓存中。