1

我目前正在尝试使用官方 Bolt 驱动程序将大量数据读入我的 Java 应用程序。我遇到了问题,因为图表相当大(~17k 节点,~500k 关系),当然我想分块阅读它以提高内存效率。我想要得到的是源节点和目标节点之间的混合字段,以及关系本身。我尝试编写分页查询:

MATCH (n:NodeLabel)-[r:RelationshipLabel]->(n:NodeLabel) 
WITH r.some_date AS some_date, r.arrival_times AS arrival_times,
     r.departure_times AS departure_times, r.path_ids AS path_ids,
     n.node_id AS origin_node_id, m.node_id AS dest_node_id
ORDER BY id(r)
RETURN some_date, arrival_times, departure_times, path_ids,
       origin_node_id, dest_node_id 
LIMIT 5000

(我更改了一些标签和字段命名,因此查询的用途并不明显)

这个想法是我将SKIP在后续查询中使用以读取更多数据。但是,在 5000 行/读取时,每次读取大约需要 7 秒,大概是因为完全扫描ORDER BY力,如果我SKIP执行时间和内存使用显着增加。阅读全文太长了,有什么办法可以加快查询速度吗?或者将结果分块流式传输到我的应用程序中?一般来说,读取大量数据的最佳方法是什么?

提前致谢。

4

1 回答 1

1

而不是skip. 从第二个电话开始,您可以执行 id(r) > "last received id(r)" 它实际上应该减少处理时间。

于 2018-07-11T10:46:28.320 回答