neo4j - 将记录添加到空间层后，Neo4J 性能大幅下降

Question

所以我有大约 7000 万条空间记录要添加到空间层（我用一小部分测试过，一切都很顺利，查询返回与 postgis 相同的结果，层操作似乎很好）但是当我尝试将所有空间记录添加到数据库中，性能迅速下降到在大约 500 万条（大约 2 小时运行时间）记录时变得非常缓慢，并在大约 770 万条（经过 8 小时后）处挂起。

由于空间索引是使用图结构构建自身的 Rtree，我想知道为什么当 os 记录数增加时它会降级。如果我没记错的话，Rtree 插入是 O(n)，这就是为什么我担心它可能是重新排列边界框之间的事情，不是树叶的节点导致 addToLayer 过程随着时间的推移而变慢。

目前我正在向这样的层添加节点（很多硬编码的东西，因为我试图在模式和代码风格之前找出问题）：

Transaction tx = database.beginTx();
    try {

        ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);
        long i = 0L;
        for (Node node : layerNodes) {
            Transaction tx2 = database.beginTx();
            try {
                layer.add(node);
                i++;
                if (i % commitInterval == 0) {
                    log("indexing (" + i + " nodes added) ... time in seconds: "
                            + (1.0 * (System.currentTimeMillis() - startTime) / 1000));
                }
                tx2.success();
            } finally {
                tx2.close();
            }
        }
        tx.success();
    } finally {
        tx.close();
    }

有什么想法吗 ？关于如何提高性能的任何想法？

ps.：使用 java API Neo4j 2.1.2，Spatial 0.13 Core i5 3570k @4.5Ghz，32GB ram 专用 2TB 7200 硬盘到数据库（没有操作系统，没有虚拟内存文件，只有数据本身）

ps2.：所有几何图形都是 LineStrings（如果这很重要：P），它们代表街道、道路等。

ps3.：节点已经在数据库中，我只需要将它们添加到图层中，以便我可以执行空间查询，bbox 和 wkb 属性都可以，经过测试并适用于一小部分。

先感谢您

更改并再次运行代码后（仅将点插入数据库需要 5 小时，不涉及层）发生这种情况，将尝试增加 jvm 堆和嵌入式图形内存参数。

indexing (4020000 nodes added) ... time in seconds: 8557.361
Exception in thread "main" org.neo4j.graphdb.TransactionFailureException: Unable to commit transaction
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:140)
    at gis.CataImporter.addDataToLayer(CataImporter.java:263)
    at Neo4JLoadData.addDataToLayer(Neo4JLoadData.java:138)
    at Neo4JLoadData.main(Neo4JLoadData.java:86)
Caused by: javax.transaction.SystemException: Kernel has encountered some problem, please perform neccesary action (tx recovery/restart)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
    at org.neo4j.kernel.impl.transaction.KernelHealth.assertHealthy(KernelHealth.java:61)
    at org.neo4j.kernel.impl.transaction.TxManager.assertTmOk(TxManager.java:339)
    at org.neo4j.kernel.impl.transaction.TxManager.getTransaction(TxManager.java:725)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:119)
    ... 3 more
Caused by: javax.transaction.xa.XAException
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:560)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:448)
    at org.neo4j.kernel.impl.transaction.TxManager.commit(TxManager.java:385)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.commit(TransactionImpl.java:123)
    at org.neo4j.kernel.TopLevelTransaction.close(TopLevelTransaction.java:124)
    at gis.CataImporter.addDataToLayer(CataImporter.java:256)
    ... 2 more
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
    at org.neo4j.kernel.impl.nioneo.store.DynamicRecord.clone(DynamicRecord.java:179)
    at org.neo4j.kernel.impl.nioneo.store.PropertyBlock.clone(PropertyBlock.java:215)
    at org.neo4j.kernel.impl.nioneo.store.PropertyRecord.clone(PropertyRecord.java:221)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:118)
    at org.neo4j.kernel.impl.nioneo.xa.Loaders$2.clone(Loaders.java:81)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.ensureHasBeforeRecordImage(RecordChanges.java:217)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.prepareForChange(RecordChanges.java:162)
    at org.neo4j.kernel.impl.nioneo.xa.RecordChanges$RecordChange.forChangingData(RecordChanges.java:157)
    at org.neo4j.kernel.impl.nioneo.xa.PropertyCreator.primitiveChangeProperty(PropertyCreator.java:64)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransactionContext.primitiveChangeProperty(NeoStoreTransactionContext.java:125)
    at org.neo4j.kernel.impl.nioneo.xa.NeoStoreTransaction.nodeChangeProperty(NeoStoreTransaction.java:1244)
    at org.neo4j.kernel.impl.persistence.PersistenceManager.nodeChangeProperty(PersistenceManager.java:119)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation$1.visitNodePropertyChanges(KernelTransactionImplementation.java:344)
    at org.neo4j.kernel.impl.api.state.TxStateImpl$6.visitPropertyChanges(TxStateImpl.java:238)
    at org.neo4j.kernel.impl.api.state.PropertyContainerState.accept(PropertyContainerState.java:187)
    at org.neo4j.kernel.impl.api.state.NodeState.accept(NodeState.java:148)
    at org.neo4j.kernel.impl.api.state.TxStateImpl.accept(TxStateImpl.java:160)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.createTransactionCommands(KernelTransactionImplementation.java:332)
    at org.neo4j.kernel.impl.api.KernelTransactionImplementation.prepare(KernelTransactionImplementation.java:123)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.prepareKernelTx(XaResourceManager.java:900)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceManager.commit(XaResourceManager.java:510)
    at org.neo4j.kernel.impl.transaction.xaframework.XaResourceHelpImpl.commit(XaResourceHelpImpl.java:64)
    at org.neo4j.kernel.impl.transaction.TransactionImpl.doCommit(TransactionImpl.java:548)
    ... 7 more

28/07 -> 增加内存没有帮助，现在我正在测试 RTreeIndex 和 LayerRTreeIndex 中的一些修改（该字段到底有什么maxNodeReferences作用？

// Constructor

public LayerRTreeIndex(GraphDatabaseService database, Layer layer) {
    this(database, layer, 100);     
}

public LayerRTreeIndex(GraphDatabaseService database, Layer layer, int maxNodeReferences) {
    super(database, layer.getLayerNode(), layer.getGeometryEncoder(), maxNodeReferences);
    this.layer = layer;
}

它被硬编码为 100，并且当（明智地添加的节点数）我的addToLayer方法崩溃到 OutOfMemory 错误时，更改其值会发生变化，如果我没记错的话，更改该字段的值会增加或减少树的宽度和深度（比 50 宽 100， 50 比 100 深）。

总结到目前为止的进展：

• @Jim 纠正的交易使用不正确
• 根据@Peter 的建议，内存堆增加到 27GB
• 3 个空间层，但现在问题变得真实，因为它们是大的。
• 在向空间层添加节点时做了一些内存分析，我发现了有趣的点。

内存和 GC 分析： http: //postimg.org/gallery/biffn9zq/

在整个过程中使用最多内存的类型是 byte[]，我只能假设它属于几何 wkb 属性（几何本身或 rtree 的 bbox）。考虑到这一点，我还注​​意到（您可以查看新的分析图像）使用的堆空间量从未低于 18GB 标记。

根据这个问题是java原语垃圾收集java中的原 语类型是原始数据，因此不会受到垃圾收集，并且仅在方法返回时从方法的堆栈中释放（所以也许当我创建一个新的空间层时，所有那些wkb 字节数组将保留在内存中，直到我手动关闭图层对象）。

这有任何意义吗 ？难道没有更好的方法来管理内存资源，这样该层就不会一直加载未使用的旧数据吗？

Answer 1

卡卡瓦科，

您正在将每个添加作为单独的事务进行。要使用您的 commitInterval，您需要将代码更改为类似的内容。

Transaction tx = database.beginTx();

try {
    ResourceIterable<Node> layerNodes = GlobalGraphOperations.at(database).getAllNodesWithLabel(label);

    long i = 0L;

    for (Node node : layerNodes) {
        layer.add(node);
        i++;

        if (i % commitInterval == 0) {
            tx.success();
            tx.close();

            log("indexing (" + i + " nodes added) ... time in seconds: "
                + (1.0 * (System.currentTimeMillis() - startTime) / 1000));

            tx = database.beginTx();
        }
    }

    tx.success();
} finally {
    tx.close();
}

看看这是否有帮助。

恩典与平安，

吉姆

Answer 2

查看Error java.lang.OutOfMemoryError: GC overhead limit exceeded，可能有一些过多的对象创建正在进行。从你的分析结果来看，它看起来不像，你能仔细检查一下吗？

Answer 3

最后通过三个修复解决了这个问题：设置 cache_type=none 增加 Neostore 低级图形引擎的堆大小和设置 use_memory_mapped_buffers=true 以便由操作系统而不是缓慢的 JVM 完成内存管理

这样，我在空间层中的自定义批量插入速度更快，并且没有任何错误/异常

感谢您提供的所有帮助，我想我的答案只是这里提供的所有提示的组合，非常感谢