prometheus - 在 Prometheus 警报规则中验证不同实例上的某些指标

Question

我在普罗米修斯中有多个目标，它们会生成多个指标。我需要在多个实例上验证某个指标生成的值，并在这些值不相等时触发警报。

metric_name：treds_load_peer_db_doc_cnt

值日志：

treds_load_peer_db_doc_cnt{instance="com.peer0",ip="192.168.191.2",job="prod"} 2136589 treds_load_peer_db_doc_cnt{instance="com.peer1",ip="10.121.81.38",job="prod"} 2136590 treds_load_peer_db_doc_cnt{instance="com.peer2",ip="10.121.1.57",job="prod"} 2136590

这是我目前使用的查询：treds_load_peer_db_doc_cnt{instance="com.peer0"} != ignoring(instance,ip) treds_load_peer_db_doc_cnt{instance="com.peer1"}

这可行，但会弄乱所有标签。有没有办法一次检查所有目标中的指标并在不匹配的情况下发出警报？

Answer 1

我会做类似的事情：

max without(instance,ip)(treds_load_peer_db_doc_cnt) != min without(instance,ip)(treds_load_peer_db_doc_cnt)

如果它们不完全相同，它将生成警报。