apache-spark - Spark Graphx 有像 Gephi 这样的可视化吗

Question

我是图形世界的新手。我被分配从事图形处理工作。现在我知道了 Apache Spark，所以想到了使用它 Graphx 来处理大图。然后我发现 Gephi 提供了很好的图形用户界面来操作图形。

Graphx 有没有这样的工具或者它主要是并行图形处理库。我可以将来自 Gephi 的 json 图形数据导入到 graphx 中吗？

Answer 1

除此之外，您还可以尝试 Graphlab https://dato.com/products/create/open_source.html

它直接支持 Spark RDD https://dato.com/learn/userguide/data_formats_and_sources/spark_integration.html

之后不需要做太多工作

from pyspark import SparkContext
import graphlab as gl

sc = SparkContext('yarn-client')

t = sc.textFile("hdfs://some/large/file")
sf = gl.SFrame.from_rdd(t)

# do stuff...

out_rdd = sf.to_rdd(sc)

Answer 2

不，Apache Spark Graphx 没有可视化，它只是一个处理引擎，但您可以使用 Gephi 的 API 将数据从 gephi 导入到 graphx。