问题标签 [databricks-cli]

I have configured the Databricks cli locally and able to connect to the Azure Databricks cluster. Link reference used for my workstation - git

• Below command list the jobs successfully with the id

Say if I wanted to update only the schedule (cron expression) to a specific job which is already deployed in workspace, i don't see any option to do it using databricks CLI.

Note: In my case the the jobs are created using job definition json, is used to create the jobs in the cluster. This json doesn't have the schedule info to start with.

Is there are any options available to update only schedule, after the job is created or deployed in the workspace?

There is an option to run the command immediately, databricks jobs run-now.

The REST API configuration https://docs.databricks.com/dev-tools/api/latest/jobs.html#operation/JobsCreate

我正在数据块工作区中开发我的代码。通过与 Repos 的集成，我使用 Azure DevOps 对我的代码进行版本控制。

我想使用 Azure Pipelines 将我的代码部署到新的测试/生产环境。要将文件复制到新环境，我使用了 databricks 命令行界面。我运行（databricks-cli配置后）

将文件从 VM 复制到新的 databricks 工作区。但是，该import_dir语句仅复制以某些扩展名结尾的文件（例如，不是.txt文件，因此我的 requirements.txt 没有被复制）并删除扩展名，将所有内容转换为笔记本。

这很成问题：我对其他 python 文件使用相对导入，但是这些文件被转换为笔记本，因此导入不再起作用。有什么办法可以避免删除扩展？以及如何复制所有文件而不是仅复制具有某些扩展名的文件？

我一直在尝试将我团队的一些工作流程从利用Databricks Labs DBX进行作业部署转换为利用 Terraform 提供程序。我注意到的一个区别是两者之间的提供者行为不匹配。DBX 将尝试根据其名称匹配作业，而 Terraform 将仅根据其 ID 匹配它们。这意味着要迁移我的作业，我必须根据 ID 手动刷新每个作业定义。

DBX 是一个无状态部署工具，它专门使用作业名称来匹配部署和配置更新，并且对其他一些属性具有相当强大的基于名称的支持，这对我们的部署环境可能很有用。可以在此处找到该列表：https ://dbx.readthedocs.io/en/latest/named_properties.html

在我们的环境中，我希望使用纯 terraform 而不是 terraform 和 DBX 来促进这个 repo 结构：

• base_repo
  • scripts/tf（通过 Terraform 配置工作区）
  • src/*/scala/*（代码文件）
• project_repo
  • scripts/tf（仅限作业部署，替换 scripts/dbx）
  • src/*/scala/* （单个作业的代码）

然而，缺乏基于名称的匹配似乎迫使我要么使用 databricks cli 获取作业、配置文件等的列表，并通过包装脚本将它们作为变量传递给project_repo terraform 脚本，要么继续使用 dbx对于那些项目。

有没有一种好方法可以单独使用 terraform 提供程序来促进我正在寻找的东西？

我正在尝试使用 CLI 获取 databricks 上的作业列表的所有者。问题是，该命令databricks jobs list没有任何相关信息，有什么建议吗？

提前致谢！

我正在尝试以自动化方式创建数据工具链。我正在使用 Azure，databricks-cli。 https://github.com/Azure-Samples/modern-data-warehouse-dataops/blob/main/e2e_samples/parking_sensors/scripts/deploy_infrastructure.sh

我在使用 aad 令牌对数据进行身份验证时遇到问题，生成 PAT。

这给我带来了问题。

如何对databricks进行身份验证以便能够使用databricks cli？

后来我试图创建秘密，但由于我没有经过身份验证而失败。

谢谢 Alex，不幸的是它仍然无法在 Azure 上运行。系统：

第一次尝试：

第二次尝试：

我们正在使用 Databricks 生成 ETL 脚本。一个步骤要求我们将小型 csvs 上传到 Repos 文件夹中。我可以使用 Repos GUI 中的导入窗口手动执行此操作。但是，我想使用 databricks cli 以编程方式执行此操作。这可能吗？我曾尝试使用 Workspace API，但这仅适用于源代码文件。

我是 Azure Databricks 的新手。我想将数据从 azure databricks 复制到我的 aws ec2 实例之一。谁能帮我做这件事？

提前致谢！