问题标签 [spark-notebook]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
163 浏览

scala - Spark Notebook:GeoPointsChart 是否接受数据框?

我有一个数据框,它有两列纬度和经度。我把它传给了 GeoPointsChart。输出是“显示 1000 行”,但实际上并没有向我显示任何内容。有没有人遇到过同样的问题?这是一个语法错误吗?

在此处输入图像描述

0 投票
2 回答
878 浏览

spark-notebook - 将外部 jar 加载到 spark-notebook 中失败

我正在尝试从笔记本连接到 redshift,到目前为止我已经完成了以下操作 -

为笔记本配置的元数据

检查浏览器控制台以确保在重新启动内核后加载此库

还有其他人遇到这个问题或解决了这个问题吗?

我也注意到另一个依赖项的类似问题,配置中是否缺少任何东西?

在笔记本中尝试时间序列示例 - notebooks/timeseries/Spark-Timeseries.snb.ipynb 请注意元数据中用于自定义依赖项的现有条目 -

快速验证此包的可用性@ https://spark-packages.org/package/sryza/spark-timeseries (更新元数据以包含此行)

重新启动内核后 - 加载验证库

0 投票
0 回答
79 浏览

scala - Spark notebooks 比执行 jar 更快

我已经在 spark notebook 中完成了一些代码,我尝试将它移动到一个真实的项目中,并使用它sbt来生成一个jar,然后使用它spark-submit来执行它。

问题:在spark notebooks中只需要10分钟就可以得到结果,但是当我使用命令spark-submit时,需要将近3个小时才能得到结果。

信息:我配置的 spark、scala 版本和参数(主 url、执行核心/内存等)在 notebook 和 spark-submit 之间都是相同的。

嫌疑人1:可能是因为日志(LogFactory.getLog().info("xxxx"))?这使程序花费太多时间来打印或保存它们?

嫌疑人2:可能是因为密码?我没有对notebook的代码做任何大的改动,只是创建一个函数,把代码放在里面运行。我应该做一些分区还是什么?

0 投票
0 回答
198 浏览

scala - Spark Notebook 糟糕,发生错误

我从http://spark-notebook.io/下载了 spark notebook 。我有 spark-notebook-0.7.0-scala-2.10.6-spark-2.0.1-hadoop-2.7.2。它适用于我有 Ubuntu 14.04 的笔记本电脑。但是同一个笔记本不能在我也有 Ubuntu 14.04 的桌面上运行。服务器运行,但在浏览器 ( http://localhost:9001/ ) 上,它显示 Oops, an error occurred 此异常已用 id 75mgeof4j 记录(附截图)。火花笔记本错误信息

0 投票
2 回答
849 浏览

azure - 如何将笔记本从本地机器导入 Azure Databricks 门户?

如何在 Azure Databricks 中从本地导入笔记本?

我在本地机器上有 DBC 格式的示例笔记本,我需要通过 Notebook Rest API 导入。

参考这个文档

它们作为目标文件路径给出,但没有提及源文件路径,而是作为内容给出。但是我怎样才能添加源文件来导入笔记本呢?

0 投票
1 回答
548 浏览

apache-zeppelin - 如何在 sql 解释器中访问 ZeppelinContext

我正在写一个有两段的 Zeppelin 笔记本。第一段是一个 scala 笔记本,它定义了一些在以后的笔记本中使用的默认值。例如在第一段中,如果我定义


如何在后面的 %sql 段落中使用它,例如:

我可以使用 z.put() 将值放在 ZepplinContext 中,但是如何在 sql 段落中访问相同的值?

0 投票
0 回答
258 浏览

scala - Spark Scala - 使用密钥对通过 SSH 连接到 MySQL

我想了解是否有一种方法可以使用 Spark notebook for scala 使用私钥-公钥对通过 SSH 连接到 MySQL 数据库?

我一直在尝试修改此代码无济于事

使用 Java 通过 SSH 连接到 MySQL

0 投票
2 回答
8617 浏览

apache-spark - spark SQL中的递归cte

你能帮助在 SPARK SQL 中实现同样的目标吗

0 投票
1 回答
944 浏览

scala - Scala Spark:(org.apache.spark.repl.ExecutorClassLoader)无法检查路径上 REPL 类服务器上的类 org 的存在

运行基本的 df.show() 后火花笔记本安装

运行 scala - spark-notebook 上的 spark 代码时出现以下错误。知道何时发生这种情况以及如何避免?

0 投票
1 回答
2238 浏览

windows - Zeppelin 笔记本在 Windows 文件系统中的默认位置是什么?

在带有新 docker 的新 Win10 机器上,以下命令实例化 Zeppelin:

...允许我在http://localhost:8080/#/使用 GUI 创建一个新笔记本

在此处输入图像描述

...但是这些笔记本存储在哪里?他们目录的默认路径是什么,以便我可以git init开始工作?使用 Jupyter 有一个“树”,可以清楚地显示所有笔记本的位置/路径;我没有看到 Zep 和一个小时的谷歌搜索没有提供信息。

GUI 的“Notebook Repos”按钮似乎没有帮助: 在此处输入图像描述