qubole - 是否有根据作业输出发送通知的 api？

Question

我知道有 api 可以在作业失败或完成时配置通知。

但是，如果我运行一个 hive 查询来计算表中的行数怎么办。如果返回结果为零，我想向相关方发送电子邮件。我怎样才能做到这一点？

谢谢。

Answer 1

您可能想查看 Airflow 和 Qubole 的气流运算符。我们使用气流来编排所有使用 Qubole 运行的作业，在某些情况下是非 Qubole 环境。我们使用 DataDog API 来报告每个任务（Qubole / Non Qubole）的成功/失败。在这种情况下，DataDog 可以替换为 Airflow 的电子邮件操作员。Airflow 也有一些聊天操作符（比如 Slack）

Answer 2

没有直接的 api 用于根据查询结果触发通知。但是，有一种方法可以使用 Qubole： - 在 qubole 中创建一个工作流程，步骤如下： 1. 您的查询（任何查询）将输出写入 s3 上的特定位置。2. shell 脚本 - 此脚本从您的 s3 读取结果并根据任何标准使作业失败。例如，在您的情况下，如果结果返回 0 行，则作业失败。- 使用“Scheduler”API 安排此工作流程以通知失败。

您还可以使用“Sendmail”shell 命令根据上面步骤 2 中的结果发送邮件。