hbase - GraphX - 存储和计算超过 30 亿个顶点的最佳方式

Question

我是 Spark 和 GraphX 的新手。到目前为止，我一直在使用 Titan DB（HBase 存储）和 Giraph 进行处理。我需要一个包含约 30 亿个顶点和约 50 亿条边的图。存储图形的最佳方法是什么（通过添加顶点和边从头开始创建图形，另外我想远离 Titan API 来创建图形）。我无法找到任何与此相关的直接文档。您能否建议我使用 GraphX 和商用硬件创建/存储我的图形和流程的最佳方式是什么？

谢谢。

Answer 1

只要您可以将 HBase 表读入 RDD（您可以），应该没有问题。查看 HBaseTest 示例（它在 Spark 发行版中）可能会进一步帮助您。