问题标签 [spark-notebook]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
spark-notebook - 将外部 jar 加载到 spark-notebook 中失败
我正在尝试从笔记本连接到 redshift,到目前为止我已经完成了以下操作 -
为笔记本配置的元数据
检查浏览器控制台以确保在重新启动内核后加载此库
还有其他人遇到这个问题或解决了这个问题吗?
我也注意到另一个依赖项的类似问题,配置中是否缺少任何东西?
在笔记本中尝试时间序列示例 - notebooks/timeseries/Spark-Timeseries.snb.ipynb 请注意元数据中用于自定义依赖项的现有条目 -
快速验证此包的可用性@ https://spark-packages.org/package/sryza/spark-timeseries (更新元数据以包含此行)
重新启动内核后 - 加载验证库
scala - Spark notebooks 比执行 jar 更快
我已经在 spark notebook 中完成了一些代码,我尝试将它移动到一个真实的项目中,并使用它sbt
来生成一个jar,然后使用它spark-submit
来执行它。
问题:在spark notebooks中只需要10分钟就可以得到结果,但是当我使用命令spark-submit时,需要将近3个小时才能得到结果。
信息:我配置的 spark、scala 版本和参数(主 url、执行核心/内存等)在 notebook 和 spark-submit 之间都是相同的。
嫌疑人1:可能是因为日志(LogFactory.getLog().info("xxxx"))?这使程序花费太多时间来打印或保存它们?
嫌疑人2:可能是因为密码?我没有对notebook的代码做任何大的改动,只是创建一个函数,把代码放在里面运行。我应该做一些分区还是什么?
scala - Spark Notebook 糟糕,发生错误
我从http://spark-notebook.io/下载了 spark notebook 。我有 spark-notebook-0.7.0-scala-2.10.6-spark-2.0.1-hadoop-2.7.2。它适用于我有 Ubuntu 14.04 的笔记本电脑。但是同一个笔记本不能在我也有 Ubuntu 14.04 的桌面上运行。服务器运行,但在浏览器 ( http://localhost:9001/ ) 上,它显示 Oops, an error occurred 此异常已用 id 75mgeof4j 记录(附截图)。
azure - 如何将笔记本从本地机器导入 Azure Databricks 门户?
如何在 Azure Databricks 中从本地导入笔记本?
我在本地机器上有 DBC 格式的示例笔记本,我需要通过 Notebook Rest API 导入。
参考这个文档
它们作为目标文件路径给出,但没有提及源文件路径,而是作为内容给出。但是我怎样才能添加源文件来导入笔记本呢?
apache-zeppelin - 如何在 sql 解释器中访问 ZeppelinContext
我正在写一个有两段的 Zeppelin 笔记本。第一段是一个 scala 笔记本,它定义了一些在以后的笔记本中使用的默认值。例如在第一段中,如果我定义
如何在后面的 %sql 段落中使用它,例如:
我可以使用 z.put() 将值放在 ZepplinContext 中,但是如何在 sql 段落中访问相同的值?
scala - Spark Scala - 使用密钥对通过 SSH 连接到 MySQL
我想了解是否有一种方法可以使用 Spark notebook for scala 使用私钥-公钥对通过 SSH 连接到 MySQL 数据库?
我一直在尝试修改此代码无济于事
apache-spark - spark SQL中的递归cte
你能帮助在 SPARK SQL 中实现同样的目标吗
scala - Scala Spark:(org.apache.spark.repl.ExecutorClassLoader)无法检查路径上 REPL 类服务器上的类 org 的存在
运行基本的 df.show() 后火花笔记本安装
运行 scala - spark-notebook 上的 spark 代码时出现以下错误。知道何时发生这种情况以及如何避免?
windows - Zeppelin 笔记本在 Windows 文件系统中的默认位置是什么?
在带有新 docker 的新 Win10 机器上,以下命令实例化 Zeppelin:
...允许我在http://localhost:8080/#/使用 GUI 创建一个新笔记本
...但是这些笔记本存储在哪里?他们目录的默认路径是什么,以便我可以git init
开始工作?使用 Jupyter 有一个“树”,可以清楚地显示所有笔记本的位置/路径;我没有看到 Zep 和一个小时的谷歌搜索没有提供信息。