cloudera - 在 cdsw 中获取状态作业

Question

我在 CDSW“Cloudera-Data-Science-Workbench”中有一些 R 和 python 脚本。我创建了一个 shell 脚本来运行它curl -v -XPOST。

如何从 API CDSW 获取作业状态？

Answer 1

嗨，这个问题发布已经有一段时间了，但希望答案对某人仍然有用:)

运行后：

curl -v -XPOST http://cdsw.example.com/api/v1/projects/<$USERNAME>/<$PROJECT_NAME>/jobs/<$JOB_ID>/start --user "API_KEY:" --header "Content-type: application/json"

您应该能够在输出中看到如下所示的 URL：

http://cdsw.example.com/api/v1/projects/<$USERNAME>/<$PROJECT_NAME>/dashboards/<$ID>

因此，您可以使用它来检索作业状态，例如使用管道传输状态jq（或不使用它，以便您还可以查看输出中的状态以及返回的其他内容）：

curl -v http://cdsw.example.com/api/v1/projects/<$USERNAME>/<$PROJECT_NAME>/dashboards/<$ID> --user "API_KEY:" | jq '.status'