python - 带有 Apache Spark 的 Jupyter Notebook（内核错误）

Question

我的目标是将 Jupyter Notebook (IPython) 与 Apache Spark 一起使用。我正在使用 Apache Toree 来执行此操作。我正在为 SPARK_HOME 设置环境变量并使用 Jupyter 配置 Apache Toree 安装。一切似乎都很好。

当我运行以下命令时，会打开一个 juypter 浏览器ipython notebook --profile=pyspark

当我在下拉菜单中选择Apache Toree - PySpark时，我无法在我的笔记本中编写代码并且我有这个视图（Python 2 可以）：

红色按钮给出：

怎么了 ？请帮忙 ？

Answer 1

不是一个真正的答案，但如果你没有迷上 toree 并且只需要一个本地 spark 来学习和实验，你可以下载一个 spark 的副本，解压缩并在笔记本的开头使用它：

import os
import sys

os.environ['SPARK_HOME']="<path where you have extracted the spark file>"
sys.path.append( os.path.join(os.environ['SPARK_HOME'], 'python') )
sys.path.append( os.path.join(os.environ['SPARK_HOME'], 'bin') )
sys.path.append( os.path.join(os.environ['SPARK_HOME'], 'python/lib/py4j-0.10.4-src.zip') )

from pyspark import SparkContext,SparkConf
from pyspark.sql import SQLContext, Row
import pyspark.sql.functions as sql


sc = SparkContext()
sqlContext = SQLContext(sc)
print sc.version