我目前正在尝试使用官方 Bolt 驱动程序将大量数据读入我的 Java 应用程序。我遇到了问题,因为图表相当大(~17k 节点,~500k 关系),当然我想分块阅读它以提高内存效率。我想要得到的是源节点和目标节点之间的混合字段,以及关系本身。我尝试编写分页查询:
MATCH (n:NodeLabel)-[r:RelationshipLabel]->(n:NodeLabel)
WITH r.some_date AS some_date, r.arrival_times AS arrival_times,
r.departure_times AS departure_times, r.path_ids AS path_ids,
n.node_id AS origin_node_id, m.node_id AS dest_node_id
ORDER BY id(r)
RETURN some_date, arrival_times, departure_times, path_ids,
origin_node_id, dest_node_id
LIMIT 5000
(我更改了一些标签和字段命名,因此查询的用途并不明显)
这个想法是我将SKIP
在后续查询中使用以读取更多数据。但是,在 5000 行/读取时,每次读取大约需要 7 秒,大概是因为完全扫描ORDER BY
力,如果我SKIP
执行时间和内存使用显着增加。阅读全文太长了,有什么办法可以加快查询速度吗?或者将结果分块流式传输到我的应用程序中?一般来说,读取大量数据的最佳方法是什么?
提前致谢。