python-3.x - 找不到模块'graphframes'

Question

当我在命令行中输入：

pyspark --packages graphframes:graphframes:0.2.0-spark2.0-s_2.11

它会运作良好。但是当我想使用 ipython 启动我的 pyspark 并使用 graphframes 包时，它不起作用。

当我在命令行中输入：

PYSPARK_DRIVER_PYTHON=ipython pyspark --packages graphframes:graphframes:0.2.0-spark2.0-s_2.11

错误是：找不到模块'graphframes'

Answer 1

Spark 包缺乏 Python 3 兼容性是 0.2.0 中的一个已知错误，graphframes已在 0.3.0 中解决。

--packages graphframes:graphframes:0.3.0-spark2.0-s_2.11