我希望在我的 Windows 10 机器上安装 PySpark,但无法正确指定 PYSPARK_SUBMIT_ARGS 参数。
这是我从 gitbash 运行“pyspark”命令时看到的错误:
$ pyspark
set PYSPARK_SUBMIT_ARGS="--name" "PySparkShell" "pyspark-shell" && jupyter notebook
我已经卸载了除版本 8 之外的所有 Java 版本。在我的 .bashrc 文件中,我的路径当前指定为:
export JAVA_HOME="C:\PROGRA~2\Java\jre1.8.0_261"
export PYSPARK_SUBMIT_ARGS="--master local[*] pyspark-shell"
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_DRIVER_PYTHON="jupyter"
export SPARK_HOME="C:/spark/spark-2.4.7-bin-hadoop2.7"
export PATH=$SPARK_HOME/bin:$PATH
并且 JAVA_HOME 在我的环境变量中指定并在 Path 中设置。
我真的很感激任何其他故障排除技术!
非常感谢!!!