1

通过 gcloud 控制台使用以下选项创建了一个 spark 集群

gcloud dataproc clusters create cluster-name --region us-east1 --num-masters 1 --num-workers 2 --master-machine-type n1-standard-2 --worker- machine-type n1-standard-1 - -元数据 spark-packages=graphframes:graphframes:0.2.0-spark2.1-s_2.11

在 spark 主节点上 - 启动 pyspark shell，如下所示：

pyspark --packages graphframes:graphframes:0.2.0-spark2.0-s_2.11

...

在 spark-packages 中找到 graphframes#graphframes;0.2.0-spark2.0-s_2.11

[成功] graphframes#graphframes;0.2.0-spark2.0-s_2.11!graphframes.jar (578ms)

...

    graphframes#graphframes;0.2.0-spark2.0-s_2.11 from spark-packages in [default]
    org.scala-lang#scala-reflect;2.11.0 from central in [default]
    org.slf4j#slf4j-api;1.7.7 from central in [default]
    ---------------------------------------------------------------------
    |                  |            modules            ||   artifacts   |
    |       conf       | number| search|dwnlded|evicted|| number|dwnlded|
    ---------------------------------------------------------------------
    |      default     |   5   |   5   |   5   |   0   ||   5   |   5   |
    ---------------------------------------------------------------------

...

使用 Python 版本 2.7.9（默认，2016 年 6 月 29 日 13:08:31） SparkSession 可用作“火花”。

>>> from graphframes import *

Traceback（最近一次调用最后一次）：文件“”，第 1 行，在 ImportError：没有名为 graphframes 的模块

如何在 gcloud dataproc spark 集群上加载图框？

4

1 回答 1

1

似乎是一个已知问题，您必须跳过障碍才能使其正常工作pyspark：https ://github.com/graphframes/graphframes/issues/238，https : //github.com/graphframes/graphframes/issues/172

于 2018-05-18T18:41:41.207 回答