pyspark - Pyspark：使用 spark-submit 运行文件时执行 Jupyter 命令时出错

Question

我能够运行 pyspark 并在 Jupyter 笔记本上运行脚本。但是当我尝试使用 spark-submit 从终端运行文件时，出现此错误：

执行 Jupyter 命令文件路径时出错[Errno 2] 没有这样的文件或目录

谁能帮我看看我的配置有什么问题？

我正在使用 Python 2.7 和 Spark 1.6

Answer 1

出现这些问题是因为您已将 jupyter 设置为运行 pyspark 脚本。现在您应该取消设置PYSPARK_DRIVER_PYTHON相同的变量命令，$ unset PYSPARK_DRIVER_PYTHON然后再次尝试 spark-submit ./bin/spark-submit examples/src/main/python/streaming/network_wordcount.py localhost 9999。