问题标签 [spark-notebook]

我正在将我的 Spark 作业从本地笔记本电脑提交到远程独立 Spark 集群 (spark://IP:7077)。提交成功。但是，我没有得到任何输出，一段时间后它失败了。当我检查集群上的工作人员时，我发现以下异常：

当我在本地系统 (local[*]) 上运行相同的代码时，它会成功运行并给出输出。

请注意，我在 spark notebook 中运行它。当我通过终端使用相同的应用程序提交它时，它在远程独立集群上成功运行spark-submit

我在笔记本的配置中遗漏了什么吗？还有其他可能的原因吗？

代码非常简单。

详细异常：

示例代码

向 yarn-cluster 提交 spark 作业时类似于“Bad replacement”

将作业提交到纱线集群时，我得到以下信息

以下作品： - 齐柏林飞艇作品

和 SparkPi 示例工作

Pi 大约是 3.14232

可以用 Windows 构建 spark notebook 吗？

我检查了最新的源代码并通过“sbt run”运行但收到错误：

我已经从 application.conf 文件中禁用了 tachyon，但这并不能修复构建问题。

我有想要与他人共享的 Bluemix Spark 笔记本。我希望他们能够使用与我的 Spark 实例关联的对象存储上的数据来运行笔记本（因此他们不需要自己加载数据）。

我正在使用以下内容在 Scala 笔记本中配置对象存储（此代码取自另一个 stackoverflow 帖子）。

我能够使用在我自己的 luemix Spark 服务上运行的 Scala 笔记本中的以下内容成功访问我自己的对象存储上的数据。

但是，当在他们自己的 Bluemix Spark 服务中运行笔记本时，我与之共享笔记本的其他人无法使用上面显示的相同对象存储配置访问我的对象存储上的数据。

在他们自己的 Bluemix Spark 服务上运行 Spark 笔记本的其他人如何访问与我的 Bluemix Spark 服务关联的对象存储上的数据。

我在 DCOS 中有 spark-notebook 设置。超光速粒子是生态系统的一部分。但我找不到任何关于安装 Tachyon 的 DCOS 方式说明。我可以从头开始安装它，但似乎有一些符合 DCOS 的方法来安装/注册服务？

谢谢。Ĵ

我刚刚在一些运行测试 Spark 集群的旧 PC 上安装了 spark-notebook。我从以下模板创建了一个笔记本：

我首先创建了一些有效的虚拟数据：

现在，我想注册一个临时表，因为 spark-notebook 的 github 页面上的文档告诉：

输出：

但是，当我尝试查询表时，没有得到令人满意的输出：

输出是：

当我在我安装在 AWS 上的 spark-notebook 上运行它时，它开箱即用。

我是否忘记配置一些东西，如果是，我错过了什么？

我有一个 Zeppelin Notebook 生成交互式图表。我不想无限期地托管笔记本，但我希望该交互式输出出现在另一个网站上。我知道我可以“链接到本段”，然后将输出嵌入到 iframe 中，但这需要笔记本无限期地运行。有没有办法只下载 HTML 输出？

我正在尝试在我的机器上运行 spark notebook，并按照“ spark notebook io ”中提到的程序进行操作。在此过程中，我bin/spark-notebook在终端中发出命令，我得到

错误：权限被拒绝

当我使用时，sudo bin/spark-notebook我得到

错误：没有这样的命令

我该如何解决这个问题？

我从源代码编译了 spark-notebook，但在尝试运行它时出现错误。netty 版本有问题。

好吧，火花笔记本中有很多组件。这些组件需要不同的 netty 版本。我试图强制 sbt 使用一些特定的版本，比如

但这并没有成功。知道如何解决吗？

顺便说一句，netty 3.2.5 来自 org.jboss.netty.netty-3.2.5.Final.jar。还有来自 io.netty 的 netty 工件：io.netty.netty-3.6.3.Final.jar。是的，这是一种混乱:-)

嗨，我刚刚观看了一个 databricks 网络研讨会，他们正在自动化一个 databricks 笔记本，并且他们有一个笔记本也依赖的依赖 jar。你能做到这齐柏林飞艇吗？就像从 bash 脚本调用笔记本中的脚本一样。像脚本一样执行笔记本。我想以这种方式在生产环境中使用我的笔记本。