我试图使用 tdbloader2 来加载 Freebase 转储。但我遇到了一个异常:“java.lang.OutOfMemoryError: Java heap”
我将 JVM_ARGS 增加到 -Xmx60G,但仍然得到相同的异常。(我的机器有64G)。
我切换到tdbloader,用top监控内存消耗,不到半小时内存使用量急剧上升到15G。
======
更多信息:
转储是rdf格式,我拆分成多个ttl文件,每个大约700M,总共90G。
我用了
tdbloader2 --loc kg x*.ttl
我修改了 tdbloader2 脚本,更改了行
JVM_ARGS=${JVM_ARGS:--Xmx1024M}
成为
JVM_ARGS=${JVM_ARGS:--Xmx60G}
我现在没有确切的错误输出。但我记得它在尝试创建新的 HashMap 时失败了。