问题标签 [jupyter-scala]

问问题

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

4 问题
Newest
Active
Bountied
318
Unanswered
0 投票
1 回答
523 浏览

scala - jupyter-scala 安装在代理后面

我正在尝试安装 jupyter-scala 以使 scala 内核与 jupyterlab 一起使用。我在代理后面，它正在超时。我正确设置了 http(s)_proxy 主机和端口环境变量。

按照此处的说明操作：https ://github.com/alexarchambault/jupyter-scala#jupyter-installation

查看 jupyter-scala 和 coursier，我找不到可以设置代理设置的位置。有人知道吗？

谢谢！

命令运行：sh -x -vvvv jupyter-scala和有趣的位+错误：

当我运行wget https://oss.sonatype.org/content/repositories/releases/io/get-coursier/coursier-cli_2.11/1.0.0-RC1/coursier-cli_2.11-1.0.0-RC1-standalone.jarjar 下载时，网址也很好。

0 投票
1 回答
744 浏览

apache-spark - 将 Jupyterhub+DockerSpawner+all-spark-notebook 与现有 spark 集群一起使用

我在一台机器上设置了 JupyterHub + DockerSpawner + all-spark-notebook，并且我有一个现有的 spark 集群。

我可以登录并启动服务器，但是如何使笔记本（Toree）访问现有的火花集群？

我搜索了一下，发现有人扩展了 all-spark-notebook docker 映像并重新安装了 Toree。

https://github.com/jupyter/docker-stacks/wiki/Docker-Recipes#use-jupyterall-spark-notebooks-with-an-existing-sparkyarn-cluster

有没有更简单的方法来实现目标？DockerSpawner 可以接受任何可以转移到 Toree 内核的参数吗？

0 投票
1 回答
3520 浏览

scala - 如何将 Jupyter notebook scala 内核与 apache spark 集成？

我已经根据这个文档安装了 Scala 内核：https ://github.com/jupyter-scala/jupyter-scala 内核在那里：

当我尝试在笔记本中使用 Spark 时，我得到了这个：

我试过了：

  • 将 SPARK_HOME 和 CLASSPATH 设置为 $SPARK_HOME/jars 的位置
  • 在 kernel.json 中设置指向 $SPARK_HOME/jars 的 -cp 选项
  • 在导入之前设置 classpath.add 调用

这些都没有帮助。请注意我不想使用 Toree，我想在 Jupyter 中使用独立的 spark 和 Scala 内核。这里也报告了一个类似的问题：https ://github.com/jupyter-scala/jupyter-scala/issues/63

0 投票
1 回答
94 浏览

scala - 无法获取火花数据帧的 first()

我正在尝试使用 spark 将数据从 s3 存储桶加载到我的 emr 笔记本中（在运行 spark 2.4 的 emr 集群上）

我创建了 EMR 笔记本，它创建了一个 sparkSession 作为 spark，并且可以分配

我得到回应

连接：org.apache.spark.sql.DataFrame = [值：bigint]

这是预期的，但是当我运行时： connections.first()

我得到输出：

org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 8.0 failed 4 times, most recent failure: Lost task 0.3 in stage 8.0 (TID 55, ip-10-0-251-222.ec2.internal, executor 4): java.lang.ClassCastException: [B cannot be cast to java.lang.Number（加上大约 100 多行，它不会让我添加）

为什么我不能取一个充满 bigint 的数据帧的第一个值？


12345678910