0

我已经在 HDInsight 上设置了一个 SPARK 集群，并且正在尝试使用本教程使用GraphFrames。

我已经在集群创建期间使用了自定义脚本来启用 Spark 集群上的GraphX，如此处所述。

当我运行记事本时，

import org.apache.spark.sql._
import org.apache.spark.sql.functions._

import org.graphframes._

我收到以下错误

<console>:45: error: object graphframes is not a member of package org
       import org.graphframes._
                  ^

我尝试graphframes使用以下命令通过 Jupyter 从 spark 终端安装：

$SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.1.0-spark1.5

但我仍然无法让它工作。我是 Spark 和 HDInsight 的新手，所以有人可以指出我需要在这个集群上安装什么才能让它工作。

4

2 回答 2

0

今天，这适用于 spark-shell，但不适用于 jupyter notebook。所以当你运行这个时： $SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.1.0-spark1.5 它在这个 spark-shell 会话的上下文中工作（至少在 spark 1.6 集群版本上）。但是在 jupyter 中目前没有办法加载包。此功能将很快添加到集群中的 jupyter 笔记本中。同时你可以使用 spark-shell 或 spark-submit 等。

于 2016-04-05T17:48:02.993 回答
0

从 Maven 存储库上传或导入图形框架库后，您需要重新启动集群以附加该库。

所以它对我有用。

于 2017-06-19T01:33:29.243 回答