我在 python virtualenv 中安装了 pyspark。我还在 virtualenv 中安装了新发布的http://jupyterlab.readthedocs.io/en/stable/getting_started/installation.html的 jupyterlab。我无法在 jupyter-notebook 中触发 pyspark，因为我可以使用 SparkContext 变量。
问问题
1965 次
2 回答
5
首先启动 virtualenv
source venv/bin/activate
export SPARK_HOME={path_to_venv}/lib/python2.7/site-packages/pyspark
export PYSPARK_DRIVER_PYTHON=jupyter-lab
pip install pyspark在此之前，我希望你已经完成了：pip install jupyterlab在你的 virtualenv 中
要检查，一旦你的 jupyterlab 打开，sc在 jupyterlab 中输入一个框，你应该有 SparkContext 对象可用，输出应该是这样的：
SparkContext
Spark UI
Version
v2.2.1
Master
local[*]
AppName
PySparkShell
于 2018-02-24T05:02:31.243 回答
0
你需要用你的 virtualenv 导出你的 $PYSPARK_PYTHON
export PYSPARK_PYTHON={path/to/your/virtualenv}/bin/python
这解决了我的情况。
于 2019-04-10T02:21:42.580 回答