2

我想在最近的 cronjob 作业失败时收到警报。expr kube_job_status_failed{job_name=~"cronjobname.*"}==1大部分时间都有效。但是如果一个作业失败并保留，即使下一个作业成功，我仍然会收到警报，因为prometheus中有两条记录，一条是失败记录，另一条是成功记录。

我发现我可以从中获取最新的作业时间戳kube_cronjob_status_last_schedule_time{cronjob="cronjobname"}，然后用于kube_job_status_failed{job_name="cronjobname-TIMESTAMP"}查询最后的作业状态。

我想知道我们是否有办法在一个查询中连接第一个查询jobname的结果并在第二个查询中过滤？喜欢 kube_job_status_failed{job_name=string_concatenate("cronjobname-", kube_cronjob_status_last_schedule_time{cronjob="cronjobname"})}

4

1 回答 1

1

使用 promql，您将无法拥有您描述的方式。此外，我不确定最后的计划时间是否始终与作业开始时间相同；例如，如果某处出现缓慢或重新安排的情况。

您可以按照本文中指出的方法进行。另一种方法是使用工作指标来确定：

每个 cronjob 的最后一个失败作业的时间戳

- record: job_cronjob:kube_job_status_start_time:last_failed
  expr: max((kube_job_status_start_time AND kube_job_status_failed == 1)
            * ON(job,namespace) GROUP_LEFT
            kube_job_labels{label_cronjob!=""}
           ) BY(label_cronjob)

每个 cronjob 的最后一个成功作业的时间戳

- record: job_cronjob:kube_job_status_start_time:last_suceeded
  expr: max((kube_job_status_start_time AND kube_job_status_suceeded == 1)
            * ON(job,namespace) GROUP_LEFT
            kube_job_labels{label_cronjob!=""}
           ) BY(label_cronjob)

如果失败的一个比成功的一个更新，则会发出警报：

- alert: CronJobStatusFailed
  expr:   job_cronjob:kube_job_status_start_time:last_failed
        > job_cronjob:kube_job_status_start_time:last_suceeded
  for: 1m
  annotations:
    description: '{{ $labels.label_cronjob}} last run has failed.'
于 2019-09-19T11:21:02.360 回答