0

我试图databricks runs list在 CLI 上使用 Run id,但没有得到每天运行的所有作业的 Run id,我只有前 20 个 Run id,但后来我得到了所有使用的作业的 Job id,databricks jobs list --output json现在我想得到 Run使用作业 ID 的所有作业的 ID。请帮我解决这个问题,我是databricks的新手。

4

1 回答 1

0

不幸的是,databricks cli 不提供运行 ID 的信息。

注意:只有 Databricks 执行程序启动的作业使用阶段中指定的作业 ID 显示。作业的所有实例的作业 ID 都是相同的。

您可以在 Data Collector 日志中找到特定实例的运行 ID。

Databricks 执行器还将作业的运行 ID 写入事件记录。要记录所有运行 ID,请为阶段启用事件生成。

有不同的方法可以获取任何给定作业的 RunId:

Azure Databricks 门户(用户界面):通过单击作业选项卡,您可以查看您创建的所有作业。

在此处输入图像描述

选择任何 Job 以获取每次运行的详细 RunId。

在此处输入图像描述

Azure 门户(用户界面)使用 Kusto 查询语言:如果您已配置诊断日志传递,则可以使用 KQL 查询来获取 JobID 和 RunID:

在此处输入图像描述

Databricks REST API:您可以使用以下 REST API 命令获取作业和运行列表。

curl "https://centralus.azuredatabricks.net/api/2.0/jobs/runs/list" -X GET -H "Authorization: Bearer dapiXXXXXXXXXXXXXXXXXXXXXXXXXXXXX4a"

在此处输入图像描述

于 2020-12-28T10:48:48.123 回答