python - Qubole：如何在 python 中下载调度程序结果？

Question

像标题一样，我管理自己使用 python 中的查询 ID 下载 Qubole 结果，但是，有没有一种方法可以使用调度程序作业 ID 而不是查询 ID 下载结果？

谢谢。

Answer 1

您可以使用 python 包命名requests来访问调度程序 API

我仍然不确定我的代码是否使用了 python 的最佳实践，因为我仍然使用硬编码短语per_page=1000000，每个请求每页将获得 1000000 个结果

url = 'https://api.qubole.com/api/v1.2/scheduler/{}/actions?per_page=1000000'.format(id)
headers = {'content-type': 'application/json', 'X-AUTH-TOKEN': '<YOUR-TOKEN>'}
r = requests.get(url, headers=headers).json()

json_object=[json.dumps(r.get('actions'))]
jsonRDD = sc.parallelize(json_object)
df = spark.read.json(jsonRDD)

您的调度程序的结果应该在列command.status