问题标签 [databricks-community-edition]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-spark - Databricks 中的花拼花数据集在哪里
我正在写这个笔记本。https://databricks.com/notebooks/simple-aws/petastorm-spark-converter-pytorch.html
我尝试运行第一行
但是我收到了这个错误
我想知道在哪里可以找到数据块上鲜花数据集的镶木地板版本。仅供参考,我正在开发社区版。
scala - 如何在 databricks 社区版笔记本中运行 scala 代码?
Databricks社区版笔记本允许您实时练习scala 指南并尝试示例。但是,默认设置为 pySpark,我想知道如何运行 scala 代码?
apache-spark - Databricks 环境中的 SparkSessionExtensions injectFunction
SparkSessionExtensions injectionFunction 在本地工作,但我无法让它在 Databricks 环境中工作。
itachi项目定义了 Catalyst 表达式,就像我可以通过以下方式在age
本地成功使用一样spark-sql
:
我无法在 Databricks 环境中使用它。
spark.sql.extensions=org.apache.spark.sql.extra.PostgreSQLExtensions
我使用配置选项集启动了一个 Databricks 社区集群。
然后我附上了图书馆。
itachi 中定义的array_append
函数无法像我预期的那样访问:
确认配置选项设置正确:
spark-alchemy 有另一种适用于 Databricks 环境的方法。我们是否需要弄乱 Spark 内部结构才能使其在 Databricks 环境中工作?或者有没有办法injectFunction
在 Databricks 中工作?
networking - 如何通过外部公共地址/应用程序连接到 Community Edition Databricks 集群
有人可以告诉我是否可以通过其公共 IP 地址连接或 PING 一个 Databricks 集群?
例如,我发出了命令 ping --all-ip-addresses,我得到了 IP 地址 10.172.226.115。
我希望能够从我的本地 PC 上 PING 那个 IP 地址(10.172.226.115)(或者使用该 IP 地址通过应用程序连接到集群?
有人可以让我知道这是否可能吗?
python-3.x - Databricks dbfs 文件读取问题
我正在尝试打开一个上传到 dbfs 位置的文件。但是,在尝试打开文件时出现错误,但在执行 ls 时可以看到该文件。将文件读取到 RDD 时也没有问题。有人可以解释 dbfs 的行为吗?在浏览了文档后,我也尝试了几次。这是我遵循的文档。
一直在为此挠头。任何帮助将不胜感激。
PS 如果有帮助,我正在使用 Databricks 的社区版。
apache-spark - 无法从 Databricks 社区版安装 Azure ADLS Gen 2:com.databricks.rpc.UnknownRemoteException:发生远程异常
我正在尝试从我的 databricks 社区版安装 ADLS Gen 2,但是当我运行以下代码时:
我得到错误:
我正在使用以下代码安装 ADLS Gen 2
然后我尝试使用以下命令读取 ADLS Gen 2 中的数据帧:
有任何想法吗?
python-3.x - 如何在数据块中导入文本文件
我正在尝试用一些文本编写文本文件并在数据块中加载相同的文本文件,但我收到错误
代码
错误 FileNotFoundError:[Errno 2] 没有这样的文件或目录:'/dbfs/FileStore/tables/test_dbfs.txt'