6

我想从 CSV 格式的文件加载大约 200 万行到数据库并运行一些 SQL 语句进行分析，然后删除数据。文件大小为 2GB。数据是 Web 服务器日志消息。做了一些研究，发现 H2 内存数据库似乎更快，因为它将数据保存在内存中。当我尝试加载数据时，由于 32 位 java 而出现 OutOfMemory 错误消息。计划尝试使用 64 位 java。

我正在寻找所有优化选项来快速加载并运行 SQL。

测试.sql

CREATE TABLE temptable (
  f1 varchar(250) NOT NULL DEFAULT '',
  f2 varchar(250) NOT NULL DEFAULT '',
  f3 reponsetime NOT NULL DEFAULT ''
  ) as select * from CSVREAD('log.csv');

在 64 位 java 中这样运行：

java -Xms256m -Xmx4096m -cp h2*.jar org.h2.tools.RunScript -url 'jdbc:h2:mem:test;LOG=0;CACHE_SIZE=65536;LOCK_MODE=0;UNDO_LOG=0' -script  test.sql

如果在 AIX 中可以使用任何其他数据库，请告诉我。

谢谢

4

1 回答 1

5

如果 CSV 文件为 2 GB，那么在使用纯内存数据库时将需要超过 4 GB 的堆内存。确切的内存需求很大程度上取决于数据的冗余程度。如果相同的值一遍又一遍地出现，那么数据库将需要更少的内存，因为公共对象被重复使用（无论它是字符串、长整数、时间戳……）。

请注意LOCK_MODE=0，使用时不需要UNDO_LOG=0, 和。此外， 在使用前缀时没有帮助（但它对内存文件系统有帮助）。LOG=0create table as selectCACHE_SIZEmem:

我建议先尝试使用内存文件系统（memFS:而不是mem:），它比 略慢mem:，但通常需要更少的内存：

jdbc:h2:memFS:test;CACHE_SIZE=65536

如果这还不够，请尝试压缩内存模式 ( memLZF:)，它再次变慢但使用更少的内存：

jdbc:h2:memLZF:test;CACHE_SIZE=65536

如果这还不够，我建议尝试常规持久模式，看看它有多快：

jdbc:h2:~/data/test;CACHE_SIZE=65536
于 2013-04-03T04:46:21.373 回答