1

我希望在我的 Windows 10 机器上安装 PySpark,但无法正确指定 PYSPARK_SUBMIT_ARGS 参数。

这是我从 gitbash 运行“pyspark”命令时看到的错误:

$ pyspark
set PYSPARK_SUBMIT_ARGS="--name" "PySparkShell" "pyspark-shell" && jupyter notebook

我已经卸载了除版本 8 之外的所有 Java 版本。在我的 .bashrc 文件中,我的路径当前指定为:

export JAVA_HOME="C:\PROGRA~2\Java\jre1.8.0_261"
export PYSPARK_SUBMIT_ARGS="--master local[*] pyspark-shell"
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PYSPARK_DRIVER_PYTHON="jupyter"
export SPARK_HOME="C:/spark/spark-2.4.7-bin-hadoop2.7"
export PATH=$SPARK_HOME/bin:$PATH

并且 JAVA_HOME 在我的环境变量中指定并在 Path 中设置。

我真的很感激任何其他故障排除技术!

非常感谢!!!

4

1 回答 1

2

尝试从 windows 命令提示符运行,遇到 gitbash 问题

于 2021-05-13T10:53:57.717 回答