是否存在具有以下特性的基于文件系统的键值存储的有效 Java 实现:
- 通过唯一 ID 存储、覆盖和检索字节数组(可能由存储分配)
- 没有内存缓存(读取意味着从文件系统读取,写入意味着立即写入文件系统)
- 总数据大小高达几 TB
- 存储对象数量高达数亿
- 可管理数量的文件系统对象(在文件系统级别移动/复制/删除整个存储)
Berkeley DB JE 会这样做吗?
是否存在具有以下特性的基于文件系统的键值存储的有效 Java 实现:
Berkeley DB JE 会这样做吗?
只需使用您选择的文件系统格式化专用分区?文件系统将满足要求 1-4,并且可以通过移动/复制或删除该分区来满足要求 5。
我建议MapDB,MapDB 提供由磁盘存储或堆外内存支持的并发 Maps、Sets 和 Queues。轻巧且可破解。
这可能有效。看起来像你的情况。假设,值得一看。
http://xtreemfs.blogspot.com/2008/11/babudb-efficient-key-value-store-for.html
这里还有关于那个东西的介绍,详细说明了它是如何工作的:
也许是 HBase,但是您需要运行整个 Hadoop 堆栈,这很可能是矫枉过正!http://hbase.apache.org/