1

我在 Prometheus 中为 pod 内存使用创建了警报规则。警报在我的松弛频道上完美显示，但它不包含 pod 的名称，因此很难理解哪个 pod 有问题。

它只是显示[FIRING:35] (POD_MEMORY_HIGH_UTILIZATION default/k8s warning)。但是当我查看 Prometheus UI 中的“警报”部分时，我可以看到触发的规则及其 pod 名称。任何人都可以帮忙吗？

我的警报通知模板如下：

alertname: TargetDown
      alertname: POD_CPU_HIGH_UTILIZATION
      alertname:  POD_MEMORY_HIGH_UTILIZATION
receivers:

    - name: 'slack-notifications'

      slack_configs:

      - channel: '#devops'
        title: '{{ .CommonAnnotations.summary }}'
        text: '{{ .CommonAnnotations.description }}'

        send_resolved: true

我title: '{{ .CommonAnnotations.summary }}' text: '{{ .CommonAnnotations.description }}'在我的警报通知模板中添加了该选项，现在它显示了描述。我的描述是description: pod {{$labels.pod}} is using high memory。但只是显示is using high memory。未指定 pod 名称

4

1 回答 1

1

如文章中所述，您应该检查警报规则并在必要时对其进行更新。看一个例子：

ALERT ElasticacheCPUUtilisation
  IF aws_elasticache_cpuutilization_average > 80
  FOR 10m
  LABELS { severity = "warning" }
    ANNOTATIONS {
    summary = "ElastiCache CPU Utilisation Alert",
    description = "Elasticache CPU Usage has breach the threshold set (80%) on cluster id {{ $labels.cache_cluster_id }}, now at {{ $value }}%",
    runbook = "https://mywiki.com/ElasticacheCPUUtilisation",
  }

要为您的 prometheus GUI 提供外部 URL，请将 CLI 参数应用于您的 prometheus 服务器并重新启动它：

-web.external-url=http://externally-available-url:9090/

之后，您可以将这些值放入您的警报管理器配置中。看一个例子：

receivers:
  - name: 'iw-team-slack'
    slack_configs:
    - channel: alert-events
      send_resolved: true
      api_url: https://hooks.slack.com/services/<your_token>
      title: '[{{ .Status | toUpper }}{{ if eq .Status "firing" }}:{{ .Alerts.Firing | len }}{{ end }}] Monitoring Event Notification'
      text: >-
        {{ range .Alerts }}
           *Alert:* {{ .Annotations.summary }} - `{{ .Labels.severity }}`
          *Description:* {{ .Annotations.description }}
          *Graph:* <{{ .GeneratorURL }}|:chart_with_upwards_trend:> *Runbook:* <{{ .Annotations.runbook }}|:spiral_note_pad:>
          *Details:*
          {{ range .Labels.SortedPairs }} • *{{ .Name }}:* `{{ .Value }}`
          {{ end }}
        {{ end }}
于 2018-07-27T12:47:13.920 回答