问题标签 [kyotocabinet]

我使用kyotocabinet hashdb 进行哈希搜索。我已将 1000 万个字段放入 hashdb，并在 78 毫秒内搜索了 1000 个随机散列。过了一段时间我又试了一次，大约花了 40 秒。我认为kyotodb将数组存储桶加载到RAM然后搜索。每次搜索后，它会越来越快，但仍然很慢~ 5 秒。它也不适用于 2 个不同的线程。

这是我在java上的代码：

它有什么问题？还是1000万搜索的正常速度？我没有看到 O(1)。

尝试使用 pip install kyoto cabinet 安装kyotocabinet，但它总是抛出这个错误，我已经安装了所有的包，比如

但是仍然无法安装此软件包，它总是失败并出现相同的错误

任何帮助将不胜感激谢谢！

我正在为 Python3 安装 Kyotocabinet。我运行的命令是：

紧随其后的是： pip3 install kyotocabinet

它是成功的。但是，运行一个脚本，其中包括from kyotocabinet import *：

aviral@sc:~/dev/data-file-handling$ python3 kyoto_learning.py

Traceback（最近一次通话最后一次）：文件“kyoto_learning.py”，第 1 行，在

from kyotocabinet import * ImportError: libkyotocabinet.so.16: cannot open shared object file: No such file or directory

我想读取一个 28Gb 的 csv 文件并打印内容。但是，我的代码：

不管用。当我运行命令时，htop我可以看到 dask 正在运行，但没有任何输出。也没有创建任何 index.kch 文件。我在不使用 dask 的情况下咆哮同样的事情，它运行良好；我正在使用 Pandas 流 api ( chunksize) 但它太慢了，因此我想使用 dask。

我的意图是对大型 csv 文件进行版本控制，因此，我使用的是键值数据库，其中键是完整行中的列，值是行本身。例如：

如果我将 Roll no 作为键，我的意图是将数据库中的键作为 rollno（可能是它的散列）并将值作为完整的行：Aviral, 22, 1

我已经完成了上述实现，但是为了处理大型 csv 文件（即使是 20gb 和 534M 行），速度太慢了。我正在实现 dask，但它比普通的 pandas 顺序流式传输要慢。我的疑问是，如何在键值数据库中进行并行插入？

我正在尝试用更好的键值存储管理器替换应用程序中的 GDBM，我的目标之一是在不同的架构平台上使用相同的数据库文件。这尤其意味着它应该独立于字节序以及体系结构是 32 位还是 64 位。

有谁知道Tkrzw或LevelDB是否满足这一点？或任何其他键值 DBM？

我想问你，京都内阁是否有可能创建集群并复制数据，比如在 Riak KV 中我有一致的散列方法。

我在 JNI 的 Java 应用程序中使用了 kyotocabinet 数据库。本机内存无限增长，直到进程被 OOM 内核杀手杀死。

我跟踪了 malloc 调用，如下所示：

90%~ 分配，来自库而不是 JVM 本身。

我用参数启动数据库：

有人能指出我正确的方向吗？我该如何限制这种分配或强制将内存释放回操作系统？