2

我有一个包含许多重复顶点的图，但具有不同的属性（长）。


    val vertices: RDD[(VertexId, Long)] ...
    val edges: RDD[Edge[Long]] ...

    val graph = Graph(vertices, edges, 0L)

默认情况下，GraphX 会将重复顶点的属性与默认函数合并

VertexRDD(vertices, edges, defaultVal, (a, b) => a)

所以它取决于顶点的顺序，哪个属性将留在最终图中。

我想知道有没有办法设置这个合并函数？例如，因为我需要将重复的顶点与以下函数合并

(a,b) => min(a,b)

我没有找到任何公共构造函数或其他东西。

我是否需要使用以下代码创建 Graph

val edgeRDD = EdgeRDD.fromEdges(edges)(classTag[ED], classTag[VD])
   .withTargetStorageLevel(edgeStorageLevel).cache()
 val vertexRDD = VertexRDD(vertices, edgeRDD, defaultVertexAttr, (a,b)=>min(a,b)) 
   .withTargetStorageLevel(vertexStorageLevel).cache()
 GraphImpl(vertexRDD, edgeRDD)
4

1 回答 1

2

您已经回答了很多自己的问题，但是如果您正在寻找一种方法来控制合并，否则仍然使用现有的构造函数，您可以这样做：

val vertices: RDD[(VertexId, Long)] ...
val edges: RDD[Edge[Long]] ...
val mergedVertices = VertexRDD(vertices, edges, default, mergeFun)

val graph = Graph(mergedVertices, edges, 0L)

这是可能的，因为 VertexRDD 是 RDD[(VertexId, VD)] 的子类（在这种情况下，您的 VD 是 Long）。

于 2015-07-02T20:50:51.107 回答