问题标签 [spark-graphx]

我正在运行一个独立的火花，我在下面有与 EdgeRDD 相关的代码。这些是从文本文件加载的图形边。大约有 6700 万条记录。

问题只是计算它们会卡在 rdd 创建上。我有 24gb 内存的机器。执行器和驱动程序的最佳设置应该是什么。或者我是否需要在 spark-env.sh 中设置任何其他配置。我正在运行火花 1.4.0

这是输出：

我是图形世界的新手。我被分配从事图形处理工作。现在我知道了 Apache Spark，所以想到了使用它 Graphx 来处理大图。然后我发现 Gephi 提供了很好的图形用户界面来操作图形。

Graphx 有没有这样的工具或者它主要是并行图形处理库。我可以将来自 Gephi 的 json 图形数据导入到 graphx 中吗？

我正在尝试使用 graphX 从图中检索三角形的数量。由于我对 Scala 和 graphX 都很陌生，所以我目前很困惑。

我正在从边缘文件创建一个图形：

这应该是 1 个三角形。

接下来我使用内置函数 val countTriangles = graph.triangleCount。

然而，到目前为止，我一直无法从中提取实际的三角形计数。

我想知道是否有人可以提供帮助，我在 spark 中为 graphx 编写的函数有问题，如果我有没有边的顶点，它会不断给出错误消息。

将边和顶点连接在一起时

有没有一种简单的方法可以跳过没有任何对应边的顶点？或者有没有办法对此进行子图化？目前，如果我使用子图来表示边缘属性，它会保留顶点。

非常感谢您的帮助

我正在尝试使用 Spark GraphX，但遇到了我认为如何使用 Scala 的问题。我是 Scala 和 Spark 的新手。

我通过调用我自己的函数来创建一个图表：

VertexAttributes 是我定义的一个类：

经过一些计算，我使用 GraphX vertices() 函数来获取每个顶点的分数：

但这不会编译，sbt 消息是：

我已经用谷歌搜索了这条错误消息，但坦率地说，我无法关注对话。谁能解释错误的原因以及我该如何解决？

谢谢你。

PS 下面是我的 createGraph 方法代码：

是否可以在运行时查询 GraphX？还是必须编译和部署这些查询？

如果是这样，是否有任何东西相当于 GraphX 的 Cypher？

谢谢

通过使用 GraphX 中的 trianglecount，我检索了以下数组：

我试图找到一种方法来对数组中每个元素的第二个值求和。因此在这个例子中是 1。

我一直无法找到如何做到这一点的方法。

在 Scala 代码中，有没有一种从 SparkDataFrame到没有硬编码类型的好方法？EdgeRDD我见过的用例类定义EdgeRDD.

假设我们的 SparkDataFrame有0 到 22 个额外的StructField ("dstID", LongType, false)and和（我们对此进行了限制，以便我们可以使用 TupleN 来表示它们）。有没有一种干净的方法可以通过从 中获取类型来定义？作为动机，考虑我们正在加载一个包含类型信息的 Parquet 文件。("srcID", LongType, false)StructFieldEdgeRdd[TupleN]DataFrame

我对 Spark 和 Scala 很陌生，所以我意识到这个问题可能被误导了。在这种情况下，我很感激学习思考这个问题的“正确”方式。

我有一个包含许多重复顶点的图，但具有不同的属性（长）。

默认情况下，GraphX 会将重复顶点的属性与默认函数合并

所以它取决于顶点的顺序，哪个属性将留在最终图中。

我想知道有没有办法设置这个合并函数？例如，因为我需要将重复的顶点与以下函数合并

我没有找到任何公共构造函数或其他东西。

我是否需要使用以下代码创建 Graph

我正在尝试使用可以在此处找到的一些 Google Web Graph 数据创建一个图表：

https://snap.stanford.edu/data/web-Google.html

不幸的是，我收到此错误：

那么如何创建一个 VertexId 对象呢？据我了解，通过Long应该就足够了。

有任何想法吗？

非常感谢！

罗密欧