0

我有一个火花簇，它的主人在 192.168.0.60:7077

我曾经使用 jupyter notebook 制作一些 pyspark 脚本。我现在愿意继续使用 scala。我不知道斯卡拉的世界。我正在尝试使用 Apache Toree。我安装了它，下载了 scala 内核，然后运行它以打开一个 scala notebook 。直到那里一切看起来都很好：-/

但是我找不到 spark 上下文，并且 jupyter 的服务器日志中有错误：

[I 16:20:35.953 NotebookApp] Kernel started: afb8cb27-c0a2-425c-b8b1-3874329eb6a6
Starting Spark Kernel with SPARK_HOME=/Users/romain/spark
Error: Master must start with yarn, spark, mesos, or local
Run with --help for usage help or --verbose for debug output
[I 16:20:38.956 NotebookApp] KernelRestarter: restarting kernel (1/5)

因为我不知道 scala，所以我不确定这里的问题？它可能是 ：

  1. 我需要一个火花内核（根据https://github.com/ibm-et/spark-kernel/wiki/Getting-Started-with-the-Spark-Kernel）

  2. 我需要在服务器上添加一个选项（错误消息说'Master must start with yarn, spark, mesos, or local'）

  3. 或者是其他东西 ：-/

我只是愿意从 python 迁移到 scala，而我在启动 jupyter IDE 时浪费了几个小时：-/

4

1 回答 1

0

看起来您在独立部署模式下使用 Spark。正如 Tzach 在他的评论中建议的那样，以下应该有效：

SPARK_OPTS='--master=spark://192.168.0.60:7077' jupyter notebook

SPARK_OPTS期望通常的spark-submit参数列表。

如果这没有帮助，您需要检查中的SPARK_MASTER_PORT值conf/spark-env.sh（默认值为 7077）。

于 2017-01-19T04:39:01.230 回答