问题标签 [databricks-connect]

我有以下 Yaml 脚本。我正在寻找如何获取创建的令牌并将其存储到变量中：

上述命令返回的响应是这个 json：

我想存储上面token_value的值，以便可以在下面的另一个任务中使用它。

我正在尝试使用 databrick 连接在 IDE 中从我的 databricks 笔记本中运行一些代码。我似乎无法弄清楚如何创建一个简单的数据框。

使用：

给出错误信息value toDF is not a member of Seq[(Long, Long, Long, Long)]。

尝试从头开始创建数据框：

给出错误信息

我在使用 Azure Databricks 群集的计算机上本地运行代码。因此，我收到了很多“在 https://adb ......查看工作详细信息”的声明。我正在记录其他内容，因此我无法关闭日志记录本身。如何从显示中删除此信息？

我有包含 SQL 命令的 Azure Databrick 笔记本。我需要捕获 SQL 命令的输出并在 Dot Net 核心中使用。需要帮忙。

尝试遍历已安装的 Databricks 卷中的目录时，我收到 ClassCastException。

getAllFiles函数如下所示：

在本地，它使用 Databricks Connect 运行正常，但是当 src 代码打包为 jar 并在 Databricks 集群上运行时，会引发上述异常。

由于 Databricks 在他们的文档中建议使用com.databricks.service.DBUtils并且在调用DBUtils.fs.ls(path)它时FileInfo从同一个service包返回 - 这是一个错误还是应该以其他方式使用 api？

我正在使用 8.1 版的 Databricks Connect & Runtime

我正在尝试使用 databricks connect 从 intellj 在 databricks 集群上运行 spark 作业。我遵循以下链接文档。

https://docs.databricks.com/dev-tools/databricks-connect.html

但是我不能让它与 intellj 一起工作，它会抛出异常

我找不到解决方法，因为文档没有明确说明我从 intellj 交叉检查了它指向由 (databricks-connect get-jar-dir) 返回的正确 jar 目录。任何线索都会有帮助吗？

注意：databricks-connect 测试返回成功

我可以使用 Visual Studio 代码从我的 Linux Centos VM 连接到 Azure Databricks 集群。

下面的代码甚至可以正常工作

我在本地有一个笔记本，它使用%run path/anothernotebook.

由于 %run 字符串被注释 # python 没有执行它。

所以我试图包括dbutils.notebook.run('pathofnotebook')但它错误地指出笔记本

是否可以在本地调试调用另一个笔记本的笔记本？

我能够从数据块连接中提取数据并完美地运行火花作业。我的问题是如何在远程集群上运行非火花或本机 python 代码。由于机密性，不共享代码。

我在使用 Spark 配置创建从 ADF（数据工厂）到 Databricks 的链接服务时使用了新的作业集群选项。我想参数化火花配置值以及键。我知道通过参考这个文档来参数化值很容易。但是是否也可以对 spark config 键进行参数化，我用红色突出显示它们？

如果有任何其他方式，如 databricks 集群初始化脚本来实现这一点，请告诉我。

我正在使用 databricks-connect 和 VS Code 为 Databricks 开发一些 python 代码。

我想使用 databricks-connect 直接从 VS Code 编写和运行/测试所有内容，以避免处理 Databricks Web IDE。对于基本笔记本，它工作得很好，但我想对多个笔记本做同样的事情并使用导入（例如import config-notebook在另一个笔记本中使用）。

但是，在 VS Code 中import another-notebook工作正常，但在 Databricks 中不起作用。据我所知，Databricks 中的替代方法是%run "another-notebook"，但如果我想从 VS Code 运行它，它就不起作用（databricks-connect 不包括笔记本工作流）。

有什么方法可以使笔记本导入既适用于 Databricks 又受 databricks-connect 支持？

非常感谢你的回答 ！