graph - Spark GraphX - 如何从 Spark 中的 JSON 文件中读取数据并根据数据创建图表？

Question

我是 Spark 和 Scala 的新手，我正在尝试从 JSON 文件中读取一堆高音扬声器数据，并将其转换为一个顶点代表一条推文而边缘连接到推文的图，这些推文是原始发布的项目。到目前为止，我已经设法从 JSON 文件中读取并找出我的 RDD 的架构。现在我相信我需要以某种方式从 SchemaRDD 对象中获取数据，并为顶点创建一个 RDD，为边缘创建一个 RDD。这是解决这个问题的方法还是有替代解决方案？任何帮助和建议将不胜感激。

Answer 1

这真的取决于你的 json 文件。您需要解析 json 文件中的数据并根据解析的数据创建顶点和边。没有特定的方法来实现这一点，这完全取决于程序员。一种方法是创建一个顶点数组和边数组（再次基于解析的数据）并将它们并行化（创建 VertexRDD 和 EdgeRDD），然后创建您需要的图形。希望我有所帮助。