问题标签 [databricks-cli]

我们正在使用 Azure DevOps 向 Databricks 提交训练作业。训练作业使用笔记本来训练机器学习模型。我们正在使用databricksCLI 从 ADO 提交作业。

在笔记本中的步骤中，我们创建了一个.pkl文件，我们希望将其下载到构建代理并将其作为工件发布到 Azure DevOps 中。我们如何做到这一点？

我有以下 Yaml 脚本。我正在寻找如何获取创建的令牌并将其存储到变量中：

上述命令返回的响应是这个 json：

我想存储上面token_value的值，以便可以在下面的另一个任务中使用它。

在 Databrick 中，如果我有一份工作作业请求 json 为：

如何访问作业附加笔记本中的 notebook_params？

我正在使用 Databricks CLI 在 Azure 发布管道中配置集群和设置库，作为 Azure CLI 任务的一部分，其中/bin/bash 作为解释器。在一个地方，我正在尝试使用 databricks fs ls 命令在 dbfs 路径中列出与特定文件名模式匹配的 jar 文件，并将该文件的名称存储在 unix 变量中。

此代码失败，因为 dbfs ls 只需要一个目录作为参数，而不是文件模式。

我尝试了其他组合，例如：

和

但无济于事。

然而，命令

单独工作很好。

问题是：如何将 unix 命令与 databricks CLI 命令结合使用？

在将 Databricks 集群设置为 Azure 发布管道的一部分时，我需要将 JAR 文件安装为库。到目前为止，我已经完成了以下 -

• 使用 Azure CLI 任务创建集群定义
• 使用 curl 命令将 JAR 文件从 Maven 存储库下载到管道代理文件夹中
• 在管道代理上设置 Databricks CLI
• 用于databricks fs cp将 JAR 文件从本地（管道代理）目录复制到 dbfs:/FileStore/jars 文件夹

我正在尝试创建一个集群范围的初始化脚本（bash）脚本，它将 -

• 安装 pandas、azure-cosmos 和 python-magic 包
• 将 JAR 文件（已在前面的步骤中复制到 dbfs:/FileStore/jars 位置）作为集群库文件安装

我的集群初始化脚本如下所示 -

但我不知道——

• 如果这会将包添加到集群中
• 如何将现有的 JAR 文件作为库添加到集群中

我知道还有其他方法可以编辑集群库元数据，但据我所知，集群库的任何更改都需要集群处于 RUNNING 状态，这可能不是我们的情况。这就是为什么我想在我的集群定义中添加一个初始化脚本，以便在集群重新启动/运行时执行初始化脚本。

请帮忙。

谢谢。子哈希

我有包含 SQL 命令的 Azure Databrick 笔记本。我需要捕获 SQL 命令的输出并在 Dot Net 核心中使用。需要帮忙。

当我尝试删除不存在的文件夹时，Databricks 引发错误：

错误信息：

所以我可能需要在删除之前检查该文件夹是否存在？

伪代码示例：

如何使用 Databricks CLI 实现这一点？

1. 我执行了'databricks configure --token'命令，相应地我输入了我的主机ID和令牌（多次）
2. 但是当我尝试执行'databricks clusters list'命令时，它给了我错误-错误：b'Bad Request'。任何人都可以提出解决方案吗？

我正在尝试在 PowerShell 中使用 Databricks CLI。我需要将 JSON 字符串作为参数传递。

我有两个变量 -job_id等于10和parameterValue等于some string。

我使用了 4 种不同的组合，但仍然出现错误Error: JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)

使用的代码：

使用 Databricks 存储库，您可以将 git 存储库添加到 Databricks 并执行 git 操作，例如git pull. 这是通过单击左上角的分支名称，然后单击“拉”按钮来完成的。

我想在不点击浏览器中的内容的情况下执行此操作。

• 在给定的 repo 上触发 git pull 的 Databricks CLI 语法是什么？
• 什么是 Databricks API 端点，用于在给定的 repo 上触发 git pull？

我会假设两者都是可能的（这个答案暗示如此），但只提供一个就足以回答我的问题。

有人可能想知道如果拉动不是微不足道的，例如，我期望会发生什么。分支已经发散，或者“您的未分级更改将被拉动……”。在这种情况下，简单地出错就足够了。我打算确保它永远不会通过其他机制发生。