问题标签 [databricks-community-edition]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
133 浏览

apache-spark - Databricks 中的花拼花数据集在哪里

我正在写这个笔记本。https://databricks.com/notebooks/simple-aws/petastorm-spark-converter-pytorch.html

我尝试运行第一行

但是我收到了这个错误

我想知道在哪里可以找到数据块上鲜花数据集的镶木地板版本。仅供参考,我正在开发社区版。

0 投票
1 回答
132 浏览

scala - 如何在 databricks 社区版笔记本中运行 scala 代码?

Databricks社区版笔记本允许您实时练习scala 指南并尝试示例。但是,默认设置为 pySpark,我想知道如何运行 scala 代码?

0 投票
1 回答
398 浏览

python - 数据砖社区版无法读取上传的表(之前工作)

所以当我今天在 DataBricks 社区版上尝试一些想法时,我突然发现 python pandas 不能再读取现有的上传表。这些目录以前可以工作,但我以前上传的表都不能再读取了,都以“ File ... Not Exist”返回。有谁知道我们能做什么?

使用的命令:

文件肯定在那里,这也会影响我之前上传的所有其他文件。

数据库文件系统

在此处输入图像描述

任何建议将不胜感激

0 投票
1 回答
413 浏览

apache-spark - Databricks 环境中的 SparkSessionExtensions injectFunction

SparkSessionExtensions injectionFunction 在本地工作,但我无法让它在 Databricks 环境中工作。

itachi项目定义了 Catalyst 表达式,就像我可以通过以下方式在age本地成功使用一样spark-sql

我无法在 Databricks 环境中使用它。

spark.sql.extensions=org.apache.spark.sql.extra.PostgreSQLExtensions我使用配置选项集启动了一个 Databricks 社区集群。

创建集群

然后我附上了图书馆。

附加库

itachi 中定义的array_append函数无法像我预期的那样访问:

无法运行功能

确认配置选项设置正确:

在此处输入图像描述

spark-alchemy 有另一种适用于 Databricks 环境的方法。我们是否需要弄乱 Spark 内部结构才能使其在 Databricks 环境中工作?或者有没有办法injectFunction在 Databricks 中工作?

0 投票
1 回答
122 浏览

networking - 如何通过外部公共地址/应用程序连接到 Community Edition Databricks 集群

有人可以告诉我是否可以通过其公共 IP 地址连接或 PING 一个 Databricks 集群?

例如,我发出了命令 ping --all-ip-addresses,我得到了 IP 地址 10.172.226.115。

我希望能够从我的本地 PC 上 PING 那个 IP 地址(10.172.226.115)(或者使用该 IP 地址通过应用程序连接到集群?

有人可以让我知道这是否可能吗?

0 投票
1 回答
465 浏览

python-3.x - Databricks dbfs 文件读取问题

我正在尝试打开一个上传到 dbfs 位置的文件。但是,在尝试打开文件时出现错误,但在执行 ls 时可以看到该文件。将文件读取到 RDD 时也没有问题。有人可以解释 dbfs 的行为吗?在浏览了文档后,我也尝试了几次。是我遵循的文档。

一直在为此挠头。任何帮助将不胜感激。

PS 如果有帮助,我正在使用 Databricks 的社区版。

0 投票
2 回答
469 浏览

pyspark - 在 Databricks 上的 DBFS 中打开文件会引发错误

我正在使用 databricks 社区版,当我尝试打开 DBFS 中存在的文件时,它会给我一个错误。如下图

附上图片

第一个单元格是显示文件存在。

第二个单元格,正在尝试打开文件

0 投票
0 回答
363 浏览

databricks - 无法在 Databricks 社区版上创建集群

我已经使用 Databricks 社区版 4 年多了,突然间我无法像往常一样创建单节点集群。

我不断收到消息“只有专业或企业级客户可以创建自动缩放集群”查看图像,但我没有看到不创建自动缩放集群的选项。

Databricks 是否已停止使用 Databricks 社区版用户?还是我做错了什么?

我只是想以简单的方式使用社区版,我在过去 4 年中一直在使用它......只有一个节点。

在此处输入图像描述

0 投票
1 回答
208 浏览

apache-spark - 无法从 Databricks 社区版安装 Azure ADLS Gen 2:com.databricks.rpc.UnknownRemoteException:发生远程异常

我正在尝试从我的 databricks 社区版安装 ADLS Gen 2,但是当我运行以下代码时:

我得到错误:

我正在使用以下代码安装 ADLS Gen 2

然后我尝试使用以下命令读取 ADLS Gen 2 中的数据帧:

有任何想法吗?

0 投票
1 回答
665 浏览

python-3.x - 如何在数据块中导入文本文件

我正在尝试用一些文本编写文本文件并在数据块中加载相同的文本文件,但我收到错误

代码

错误 FileNotFoundError:[Errno 2] 没有这样的文件或目录:'/dbfs/FileStore/tables/test_dbfs.txt'