问题标签 [databricks-rest-api]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
113 浏览

azure - Azure Databricks API

尝试使用 Databricks API 以编程方式处理资源。我正在使用此 microsoft 文档向服务主体进行身份验证。

https://docs.microsoft.com/en-us/azure/databricks/dev-tools/api/latest/aad/service-prin-aad-token

但我收到以下错误

"Invoke-RestMethod : {"error":"invalid_resource","error_description":"AADSTS500011: 在租户中找不到名为https://management.core.azure.com的资源主体"

这是我的完整脚本。我错过了什么?

0 投票
1 回答
404 浏览

databricks - 使用 CLI 和/或 API 在 databricks 笔记本上执行 git pull

使用 Databricks 存储库,您可以将 git 存储库添加到 Databricks 并执行 git 操作,例如git pull. 这是通过单击左上角的分支名称,然后单击“拉”按钮来完成的。

我想在不点击浏览器中的内容的情况下执行此操作。

  • 在给定的 repo 上触发 git pull 的 Databricks CLI 语法是什么?
  • 什么是 Databricks API 端点,用于在给定的 repo 上触发 git pull?

我会假设两者都是可能的(这个答案暗示如此),但只提供一个就足以回答我的问题。


有人可能想知道如果拉动不是微不足道的,例如,我期望会发生什么。分支已经发散,或者“您的未分级更改将被拉动……”。在这种情况下,简单地出错就足够了。我打算确保它永远不会通过其他机制发生。

0 投票
1 回答
27 浏览

python - 将命令动态插入到 Databricks 中的现有笔记本中

在这篇文章的后面这个很好的答案: 使用 Python 在 Databricks 中的另一个笔记本中动态创建一个笔记本, 其中展示了如何动态创建一个全新的笔记本,我的问题是将命令插入现有的笔记本。

鉴于

是否可以附加content到笔记本中notebook_path

0 投票
1 回答
31 浏览

python-3.x - 在运行之前将不同的集群分配给 azure databricks 上的现有作业

我正在使用 Azure Databricks 集群上的 databricks-api 运行自动作业以训练模型。我的脚本检查集群,如果它不存在,脚本将创建一个新的,否则它将返回现有的 id。之后,我的脚本按名称检查作业,如果作业不存在,它将创建一个新作业,如果作业存在,则返回现有作业的 id,将集群附加到它,然后在作业完成后运行它我的脚本删除了所有集群...问题:第一次运行它工作正常,但是之后当我运行脚本并创建新集群以附加到我已经创建的作业时,它给了我集群没有的错误存在是因为作业一直在寻找旧的集群。有没有办法在运行之前为已经存在的作业更新/分配一个新的集群?

返回运行标识