7

目标

旨在当从 SQS 队列到 lambda 函数的消息超过最大重试次数时触发 CloudWatch 警报。

问题

我认为这很容易，并且 NumberOfMessagesReceived 指标会反映这一点。熟悉这一点的人都知道，事实并非如此。

解决方案

'Limbo' 解决方案

我对这个问题的快速简单的解决方案是引入一个“Limbo”，它充当第一个 DLQ，并在几秒钟内将消息推送到最终/实际 DLQ。在指标中，这会导致“Limbo”队列的可见消息指标出现峰值。因此，具有“ > 0 ”的警报阈值意味着每次该队列收到消息时都会发出警报。

然而，我上面的权力对于每次我们想要这个功能时都有一个“Limbo”队列并不满意。

使用

据我所知，有一些替代方法，但这些方法似乎比Limbo 解决方案更糟糕。

新的 Lambda 函数

第一个是有一个新的 lambda 函数，它使用 SQS DLQ 作为源并生成警报。

Lambda 运行时拦截

其次是让现有 lambdas（处理 SQS 消息）中的逻辑读取消息已重试的次数，并在最后一次生成警报。这种首先消除了使用队列和重新驱动策略的优势，并且是一种过度设计的解决方案。

度量数学

我能想到的最后一个选择是使用一些度量数学来查看 DLQ 并计算最后 X 分钟是否有增加。

对于什么（我确信）必须有一个简单的实现，这些似乎都是奇怪且过于复杂的解决方案。每次 DLQ 收到消息时如何创建警报？

4

2 回答 2

4

我遇到了同样的问题，并使用 Metrics Math 成功实现了它。Cloudwatch 有一个 RATE() 函数，它：

“返回每秒度量值的变化率。这是通过最新数据点值与前一个数据点值之间的差值除以两个值之间的时间差（以秒为单位）计算得出的。”

https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/using-metric-math.html

所以我创建了一个警报，它查看死信队列上 ApproximateNumberOfMessagesVisible 指标的变化率。当变化率大于 0 时会发出警报。这是警报的 Cloudformation 模板示例：

DeadletterAlarm:
  Type: AWS::CloudWatch::Alarm
  Properties: 
    AlarmName: "DEADLETTER_ALARM"
    ComparisonOperator: GreaterThanThreshold
    EvaluationPeriods: 1
    TreatMissingData: missing
    Threshold: '0'      
    Metrics: 
      - Id: r1
        Expression: RATE(FILL(m1, 0))
        ReturnData: true
      - Id: m1          
        Label: VisibleAverage
        ReturnData: false
        MetricStat:
          Stat: Average
          Period: '300'
          Metric:
            MetricName: ApproximateNumberOfMessagesVisible
            Namespace: AWS/SQS
            Dimensions:
              - Name: QueueName
                Value: "Deadletter_queue_name"
于 2020-09-28T23:22:10.757 回答
3

实现此目的的另一种方法是打开警报ApproximateNumberOfMessagesDelayed。然后你只需要在你的 DLQ 上设置一个延迟。所以它可能看起来像这样：

MyDLQAlarm:
Type: AWS::CloudWatch::Alarm
Properties:
  AlarmName: MyDLQAlarm
  AlarmDescription: "Alarm when we have 1 or more failed messages in 10 minutes for MyQueue."
  Namespace: "AWS/SQS"
  MetricName: "ApproximateNumberOfMessagesDelayed"
  Dimensions:
    - Name: "QueueName"
      Value:
        Fn::GetAtt:
          - "MyQueue"
          - "QueueName"
  Statistic: "Sum"
  Period: 300
  DatapointsToAlarm: 1
  EvaluationPeriods: 2
  Threshold: 1
  ComparisonOperator: "GreaterThanOrEqualToThreshold"
  AlarmActions:
    - Ref: "SNSTopic"

然后您的 DLQ 可能如下所示：

  MyQueueDLQ:
Type: AWS::SQS::Queue
Properties:
  QueueName: MyQueueDLQ
  MessageRetentionPeriod: 1209600
  DelaySeconds: 60
于 2020-12-05T22:34:03.273 回答