apache-spark - 如何在 apache toree pyspark notebook 中更改 python 版本？

Question

我正在为 Pyspark Notebook 运行 Apache Toree。我在 unix 机器上安装了 anaconda 3.5 和 jupyter hub。当我从 Jupyter notebook 调用 pyspark 时，它从 Python 2.7 而不是 Anaconda 3.5 开始。

请求您帮助更改 python 版本。

请参阅我已经尝试通过 os.environ 更改 python 版本，但没有成功。

Answer 1

按照以下步骤使用 Python-3 配置 Toree：

1. 安装了带有 spark home 和 python 路径的新内核。

   jupyter toree install --spark_home="spark_path" --kernel_name=tanveer_kernel1 --interpreters=PySpark,SQL --python="python_path"

   2. 完成上述操作后，Driver Python 版本和 Executor Python 版本出现了问题。通过添加更正了 spark-env.sh 中的 Python 版本

   导出 PYSPARK_PYTHON="/usr/lib/anaconda3/bin/python" 导出 PYSPARK_DRIVER_PYTHON="/usr/lib/anaconda3/bin/python"

   3. 重新启动火花服务。