1

我正在尝试使用 GraphFrames 在 Windows 上运行PySpark

GraphFrames 快速入门指南提到以下内容 -

如果您将 GraphFrames 作为 JAR graphframes.jar 提供,则可以通过将 JAR 传递给 pyspark shell 脚本来使 GraphFrames 可用,如下所示:

$ ./bin/pyspark --master local[4] --py-files graphframes.jar --jars graphframes.jar

是否有类似的命令(如--py-files)在 Windows中包含.jar分发?

我尝试使用NotebookApp.file_to_run = "graphframes-0.2.0-spark1.5-s_2.10.jar",但没有奏效。还有其他方法可以在 Windows 上使用 PySpark 运行 GraphFrames 吗?TIA。

我在命令行中运行以启动 PySpark:

ipython notebook %SPARK_HOME%/bin/pyspark

我尝试运行 GraphFrames 的最终命令:

ipython notebook %SPARK_HOME%/bin/pyspark NotebookApp.file_to_run=graphframes-0.2.0-spark1.5-s_2.10.jar
4

0 回答 0