dataframe - 如何使用 CLI 或 Databricks API 监控 Databricks 作业以获取有关所有作业的信息

Question

我想监视作业的状态，以查看作业是超时运行还是失败。如果您有脚本或任何参考，请帮助我。谢谢

Answer 1

您可以使用该databricks runs list命令列出所有运行的作业。这将列出所有作业及其当前状态RUNNING/FAILED/SUCCESS/TERMINATED。

如果您想查看作业是否正在运行，则必须使用databricks runs get --run-id命令列出运行中的元数据。这将返回一个 json，您可以解析出start_timeand end_time。

#  Lists job runs.
databricks runs list

# Gets the metadata about a run in json form
databricks runs get --run-id 1234

希望这可以帮助您走上正轨！