memory - Giraph 可以将先前作业中的内存图重用于后续作业吗？

Question

我有大约百万个节点和十亿个边，所以 Giraph 是否将图形保存在内存中，以便它可以再次用于后续作业，或者它是否分别在每个作业之前和之后加载和存储完整的图形？

Answer 1

你对以后的工作意味着什么？当您启动图形算法（例如最短路径）时，Giraph 将底层图形加载到内存中并一直保存到计算完成（所有超级步骤完成）。如果启用了检查点，Giraph 会在一些超级步骤（取决于配置）结束时存储所有顶点的当前状态，以实现容错。计算完成后，结果存储在 HDFS（或 Hbase 之类的其他东西）中，Java 进程终止。Giraph 没有任何合理的理由将图形保留在内存中以供后续图形算法使用。