问题标签 [apache-toree]

有没有办法将 Apache Toree 连接到远程 Spark 集群？我看到常见的命令是

如何在无需本地安装的情况下在远程服务器上使用 spark？

Apache Toree 正在寻找 spark 主目录（默认为“/usr/local/spark”，但是由于通过 Homebrew 安装了 spark 而找不到该目录时，它会引发异常。

通过自制软件安装 spark 时，spark home 在哪里？

我想 pip install Toree 包，但我最终得到以下错误消息：

找不到满足 toree 要求的版本（来自版本：）没有找到与 toree 匹配的发行版

我找不到任何有关 toree 要求的文档。此外， pip 似乎也不是这里的问题，因为它成功安装了我测试过的其他软件包。

这是我的系统：
1. Mac 10.11.16
2. Pip 9.0.1
3. Python 3.5

我想寻求与 Anaconda Jupyter notebook 相关的帮助。我想在 Jupyter notebook 中编写 PySpark 和 SparkR，我按照在线教程教如何将 Apache Toree 与 Jupyter notebook 一起安装。

我正在使用 Cloudera Manager 包来管理我的 kerberized Hadoop 集群。

但是，我无法打开 Apache Toree PySpark 的内核，并在服务器日志中显示以下错误。

我已将 jopt-simple-4.5.jar 放在 Toree lib 和 Spark 主页中。有没有什么地方我必须把罐子放在那里，以便在尝试创建新笔记本时可以找到它？谢谢。

最好的问候， 鲁卡

我的目标是将 Jupyter Notebook (IPython) 与 Apache Spark 一起使用。我正在使用 Apache Toree 来执行此操作。我正在为 SPARK_HOME 设置环境变量并使用 Jupyter 配置 Apache Toree 安装。一切似乎都很好。

当我运行以下命令时，会打开一个 juypter 浏览器ipython notebook --profile=pyspark

当我在下拉菜单中选择Apache Toree - PySpark时，我无法在我的笔记本中编写代码并且我有这个视图（Python 2 可以）：

红色按钮给出：

怎么了 ？请帮忙 ？

我正在使用 jupyterhub 在 kubernetes 上独立运行 spark 的概念证明。

我想要动态分配，因为我的用户会经常离开键盘，他们的应用程序（笔记本）处于“运行”状态（但没有任务/作业），但司机正在等待工作。

动态分配似乎没有启动。从它正在等待的文档中：

但是空闲的定义是什么？对我来说，这些笔记本似乎是闲置的

我正在尝试Spark 2.1.0使用Jupyter. Apache Toree SparkR kernel内核加载正确，但是当我尝试执行一个单元格时，会出现错误并无限重复。

使用 Scala 和 Python 内核连接到 Spark 可以完美运行。通过 RStudio 使用 R 连接到 Spark 可以完美运行。

错误日志：

警告信息：

根据这个 JIRA ( https://issues.apache.org/jira/browse/TOREE-369)，Apache Toree 支持在 YARN Cluster 模式下运行内核。但我无法运行它。下面是我正在使用的 kernel.json，

请帮忙！

我正在尝试在 Jupyter 笔记本中运行以下代码：

执行单元格时会出现错误消息：

我相信这是因为 Jupyter 可能正在运行scala命令而不是scalac命令，并且显然scala将所有内容包装到顶级类中以启用脚本。值类不能是内部类，因此是错误的原因。关于这个话题有一个相关的问题：

scala：如何定义一个值类

这个问题有可能的解决方法吗？

我正在使用我的 Jupyter 笔记本运行 Apache Toree Scala。
操作系统：OS X 10.11.6、Scala 2.11.8、Jupyter 4.3.0、Apache Toree 0.2.0。

提前致谢！

我正在为 Pyspark Notebook 运行 Apache Toree。我在 unix 机器上安装了 anaconda 3.5 和 jupyter hub。当我从 Jupyter notebook 调用 pyspark 时，它从 Python 2.7 而不是 Anaconda 3.5 开始。

请求您帮助更改 python 版本。

请参阅我已经尝试通过 os.environ 更改 python 版本，但没有成功。