2

我一直在尝试使用kyotocabinet TreeDB(MSVC10 build)并偶然发现了一个奇怪的内存问题:基本上,在每次数据库写入时,内存使用量都会增加,并且在数据库关闭之前它不会下降。

测试代码如下所示:

size_t BLOCK_SIZE = 1 << 20; // use 1MB-sized records
char* test_block = new char[BLOCK_SIZE]; // allocate record data

TreeDB db;
db.open("test.db")

// add 5000 records
for (int i = 0; i < 5000; ++i)
{
    // at each call, process virtual memory usage increases by 1 MB even though i'm not allocating more memory
    // also, as expected, in x86-32 process the whole thing runs out of memory and crashes when iteration counter comes close to 2000
    db.set(&i, sizeof(i), test_block, BLOCK_SIZE);
}

db.close(); // memory usage returns to normal here
delete [] test_block;

当然,我可以在添加每条记录时打开/关闭数据库,但这会带来巨大的延迟(大约 1 秒),这对于我的任务来说是不可接受的。另外,这个问题在 HashDB 中不会出现,但是我不能真正使用 HashDB,因为我偶尔需要按键顺序访问。

我尝试过更改调整参数(tune_page_cache、tune_buckets、tune_page),但没有成功。请有人提示我在这里缺少什么?我需要存储不可预测数量的 100KB-10MB 大小的记录并在 32 位系统上运行它。

4

1 回答 1

1

也许db.synchronize()会有所帮助,因为它应该将缓存的数据推送到文件系统,从而释放用户内存。如果是这样,并且您需要一直发生这种情况,请open使用可选参数 OAUTOSYNC 调用,尽管这可能会大大减慢您的速度。

于 2013-03-05T22:45:43.970 回答