问题标签 [apache-toree]

我正在Jupyter通过我安装的anaconda3. 我的理解是，Toree 的最新生产版本不支持 Spark 2.0+ 或 Scala 11。但是我发现了几个参考（1、2 ），您可以从中克隆incubator-toree并github手动设置Spark.

在我的 mac 终端中，这是我使用的代码：

然后，该行make clean release APACHE_SPARK_VERSION=2.2.0给了我以下错误：

我正在寻找有关此错误的指导。

根据我从这篇文章Spark - Scala中收到的说明，我已经使用这个 Toree 安装程序成功地将一个内核包含到了我的 Jupyter 笔记本中。但是，我注意到 Scala 语法非常有限。这里有两个例子：

1.无法手动创建DataFrame

以下代码在终端 Spark shell 中工作：

但是当尝试在带有Spark - Scala内核的 Jupyter 中运行时，我收到以下错误：

2. 无法使用特定语法调用列名 似乎 JupyterSpark - Scala内核在使用 调用时无法识别列$"columnName"，但可以识别使用 调用的列df.col("columnName")。$"columnName"语法引发以下错误：

我在想有一个高级解决方案可以让所有 Spark Scala 语法在 Jupyter 中使用，并期待社区的支持。

有人可以帮助我在 Windows 10 中为 jupyter notebook 安装和配置 apache toree 吗？我试过但没有成功。遇到的错误如下。

启动内核失败

未知的服务器错误。

我在 CDH 5.12 上使用 Spark 1.6 为我的 Jupyter notebook 创建了一个 Scala 内核。我正在使用 Apache Toree 0.1.x。我已经安装了 python 包 toree 0.1.0 ( https://pypi.python.org/pypi/toree/0.1.0 )。

内核是使用以下命令安装的。

但是，当我使用内核创建一个新笔记本时，我收到以下错误。

在 TOREE-358 ( https://issues.apache.org/jira/browse/TOREE-358 )下报告相同的错误

我正在使用 IBM 的 Data Science Experience (DSX) 并希望使用 Scala 展示一些可视化。

根据数据科学 - 可视化，我有 3 个选项，Pixiedust、Brunel 和 Lightning。

据我所知，Lightning 是一个 WIP，需要服务器（？）来运行可视化，Pixiedust 对 Scala 的支持仅来自 Jupyter 笔记本，所以我只剩下 Brunel。

我按照Brunel 的 Github 页面中的说明，运行以下命令将 Brunel 添加到笔记本中

我还尝试根据-f我在网上找到的一些答案添加标志并将布鲁内尔的版本更改为 2.3，但我得到了同样的错误：

有什么建议可以解决问题吗？或者在哪里可以找到日志的其余部分？

PS 我对布鲁内尔没有特别的偏好，如果有一种简洁的方式可以在 DSX 中显示其他可视化，我会很乐意使用它。

为了让 EclairJS 客户端与 Apache Spark 对话，它需要一个运行的 Apache Toree 实例，并且 Toree 必须能够连接到您的 Spark 主服务器。

先决条件

Java 8 更新 70 或更高版本

指示

下载使用 Hadoop 2.7 构建的 Apache Spark 2.0.0 并将其从存档中解压缩。

安装 Jupyter（pip install jupyter例如）和 Jupyter Kernel Gateway ( pip install jupyter-kernel-gateway)

下载并构建 Apache Toree

在构建 Apache Toree 时，我在上述步骤中遇到错误：

我无法弄清楚下一步该怎么做，任何人都可以帮助我！

我尝试按照此处提供的说明使用 EclairJS 服务器：https ://github.com/EclairJS/eclairjs/tree/master/server

执行后：mvn package得到以下错误：

ests 运行：50，失败：0，错误：1，跳过：0，经过的时间：94.35 秒 <<< 失败！- 在 org.eclairjs.nashorn.MlTest LDAExample(org.eclairjs.nashorn.MlTest) 已用时间：0.005 秒 <<< 错误！javax.script.ScriptException: TypeError: Cannot load script from examples/ml/LDA_example.js in /ml/mltest.js at line number 214 at org.eclairjs.nashorn.MlTest.LDAExample(MlTest.java:610) 原因： jdk.nashorn.internal.runtime.ECMAException: TypeError: Cannot load script from examples/ml/LDA_example.js at org.eclairjs.nashorn.MlTest.LDAExample(MlTest.java:610)

运行 org.eclairjs.nashorn.CoreExamplesTest 测试运行：6，失败：0，错误：6，跳过：0，经过时间：0.064 秒 <<< 失败！- 在 org.eclairjs.nashorn.CoreExamplesTest WordCount(org.eclairjs.nashorn.CoreExamplesTest) 已用时间：0.017 秒 <<< 错误！javax.script.ScriptException：TypeError：无法从文件中的 eclairjs/sql/sparkSession 加载脚本：/root/eclairjs/server/target/classes/eclairjs/jvm-npm/jvm-npm.js 在 org.eclairjs 的第 122 行.nashorn.CoreExamplesTest.WordCount(CoreExamplesTest.java:48) 引起：jdk.nashorn.internal.runtime.ECMAException：TypeError：无法从 org.eclairjs.nashorn.CoreExamplesTest.WordCount(CoreExamplesTest.爪哇：48）

SparkLR(org.eclairjs.nashorn.CoreExamplesTest) 经过时间：0.006 秒 <<< 错误！javax.script.ScriptException：TypeError：无法从文件中的 eclairjs/sql/sparkSession 加载脚本：/root/eclairjs/server/target/classes/eclairjs/jvm-npm/jvm-npm.js 在 org.eclairjs 的第 122 行.nashorn.CoreExamplesTest.SparkLR(CoreExamplesTest.java:88) 原因：jdk.nashorn.internal.runtime.ECMAException：TypeError：无法从 org.eclairjs.nashorn.CoreExamplesTest.SparkLR(CoreExamplesTest.爪哇：88）

SparkPI(org.eclairjs.nashorn.CoreExamplesTest) 经过时间：0.007 秒 <<< 错误！javax.script.ScriptException：TypeError：无法从文件中的 eclairjs/sql/sparkSession 加载脚本：/root/eclairjs/server/target/classes/eclairjs/jvm-npm/jvm-npm.js 在 org.eclairjs 的第 122 行.nashorn.CoreExamplesTest.SparkPI(CoreExamplesTest.java:76) 原因：jdk.nashorn.internal.runtime.ECMAException：TypeError：无法在 org.eclairjs.nashorn.CoreExamplesTest.SparkPI(CoreExamplesTest.爪哇：76）

SparkTC(org.eclairjs.nashorn.CoreExamplesTest) 经过时间：0.006 秒 <<< 错误！javax.script.ScriptException：TypeError：无法从文件中的 eclairjs/sql/sparkSession 加载脚本：/root/eclairjs/server/target/classes/eclairjs/jvm-npm/jvm-npm.js 在 org.eclairjs 的第 122 行.nashorn.CoreExamplesTest.SparkTC(CoreExamplesTest.java:64) 原因：jdk.nashorn.internal.runtime.ECMAException: TypeError: Cannot load script from eclairjs/sql/sparkSession at org.eclairjs.nashorn.CoreExamplesTest.SparkTC(CoreExamplesTest.爪哇：64）

PageRank(org.eclairjs.nashorn.CoreExamplesTest) 经过时间：0.008 秒 <<< 错误！javax.script.ScriptException：TypeError：无法从文件中的 eclairjs/sql/sparkSession 加载脚本：/root/eclairjs/server/target/classes/eclairjs/jvm-npm/jvm-npm.js 在 org.eclairjs 的第 122 行.nashorn.CoreExamplesTest.PageRank(CoreExamplesTest.java:100) 原因：jdk.nashorn.internal.runtime.ECMAException：TypeError：无法从 org.eclairjs.nashorn.CoreExamplesTest.PageRank(CoreExamplesTest.爪哇：100）

LogQuery(org.eclairjs.nashorn.CoreExamplesTest) 经过时间：0.007 秒 <<< 错误！javax.script.ScriptException：TypeError：无法从文件中的 eclairjs/sql/sparkSession 加载脚本：/root/eclairjs/server/target/classes/eclairjs/jvm-npm/jvm-npm.js 在 org.eclairjs 的第 122 行.nashorn.CoreExamplesTest.LogQuery(CoreExamplesTest.java:115) 原因：jdk.nashorn.internal.runtime.ECMAException：TypeError：无法在 org.eclairjs.nashorn.CoreExamplesTest.LogQuery(CoreExamplesTest.爪哇：115）

可以请任何人帮助我解决这个错误，或者可以分享一些在我的节点应用程序中使用 apache spark 谢谢

我想在我的 nodejs 应用程序中实现 apache spark，

我已经尝试实现 Eclairjs，但在实现它时遇到了一些问题。

我有一个带有 Akka 依赖项的 uber-jar，我试图在 Apache Toree 上与 Spark 一起使用（通过spark-defaults.conf设置添加spark.jars到/home/cdsw/uber.jar）。Toree 有自己的 Akka 内部版本，它不同于 uber-jar 的（uber-jar = 2.5.11，Toree = 2.3.4）。为了解决这个版本冲突，我试图遮蔽 uber-jar 的 Akka 版本，但仍然收到以下错误。我相信这是因为reference.confuber-jar 中有一个文件，一个属于 Toree，并且它们不会相互融合。

我最初关于冲突 conf 文件的假设是否正确？如果是这样，是否可以通过 sbt 分隔这些域？

项目依赖"com.typesafe.play" % "play-ws-standalone-json_2.11" % "2.0.0-M1"，内部Akka版本是依赖。

我安装toree了 pip 并将 Spark 二进制文件解压缩到

上述路径存储在名为$SPARK_HOME. 执行以下命令安装 Jupyter 内核

当我启动 Jupyter Notebook（或 Jupyter Lab）并打开一个新的 Apache Spark Scala 笔记本时，内核似乎没有激活。控制台中会弹出以下错误消息。

Scala version: Some(2.10.4)当 Spark 二进制文件中的 Scala 版本为 2.11时，为什么内核尝试启动（）时 Scala 版本不同？

甚至控制台中的 Scala 版本也是最新的。

我尝试安装不同版本的 Toree 并解决相同的问题。

如何解决这个问题？

操作系统：Manjaro Linux。