我有序列在我的 Knative 环境中工作。我们正在尝试配置并确认 DLQ/Dead Letter Sink 工作正常,以便我们可以针对序列编写测试和事物。我一辈子都无法让 Knative 向死信接收器发送任何内容。我有两种方法,第一种是设置代理、触发器、服务和序列。我在 Broker 中定义了一个用于 DLQ 的服务。然后,我按顺序设置了一项服务,以故意返回非 200 状态。当我在 knative-eventing 命名空间中查看通道调度程序的日志时,我相信我读到的是它认为发生了故障。
我阅读了一些关于默认 MT Broker 可能无法正确处理 DLQ 的内容,因此我安装了 Kafka。得到了所有的工作,基本上,它似乎做同样的事情。
我开始怀疑,好吧,也许在你不能做 DLQ 的序列中。毕竟文档只讨论了订阅和代理的 DLQ,也许 Knative 认为消息已成功从代理传递到序列,即使它在序列内死亡。所以我手动设置频道和订阅,然后将数据直接发送到频道,我得到的基本上是一样的,那就是:
序列将在任何不返回 2XX 状态代码的步骤上停止,但不会向 DLQ 发送任何内容。我什至让订阅直接转到服务(而不是序列),该服务返回 500,但对 DLQ 仍然没有。
下面的日志项来自在 knative-eventing 命名空间中运行的通道调度程序 pod。它与 In memory channel 或 Kafka 看起来基本相同,即预期 2xx 得到 500。
{"level":"info","ts":"2021-11-30T16:01:05.313Z","logger":"kafkachannel-dispatcher","caller":"consumer/consumer_handler.go:162","msg":"Failure while handling a message","knative.dev/pod":"kafka-ch-dispatcher-5bb8f84976-rpd87","knative.dev/controller":"knative.dev.eventing-kafka.pkg.channel.consolidated.reconciler.dispatcher.Reconciler","knative.dev/kind":"messaging.knative.dev.KafkaChannel","knative.dev/traceid":"957c394a-1636-44ad-b024-fb0dde9c8440","knative.dev/key":"kafka/test-sequence-kn-sequence-0","topic":"knative-messaging-kafka.kafka.test-sequence-kn-sequence-0","partition":0,"offset":4,"error":"unable to complete request to http://cetf.kafka.svc.cluster.local: unexpected HTTP response, expected 2xx, got 500"}
{"level":"warn","ts":"2021-11-30T16:01:05.313Z","logger":"kafkachannel-dispatcher","caller":"dispatcher/dispatcher.go:314","msg":"Error in consumer group","knative.dev/pod":"kafka-ch-dispatcher-5bb8f84976-rpd87","error":"unable to complete request to http://cetf.kafka.svc.cluster.local: unexpected HTTP response, expected 2xx, got 500"}
设置注意事项。我将所有内容部署到同一个名称空间进行测试。在执行代理/触发器和部署 Kafka 时,我基本上遵循了此处的指南来设置我的代理。我的经纪人看起来像这样:
apiVersion: eventing.knative.dev/v1
kind: Broker
metadata:
annotations:
# case-sensitive
eventing.knative.dev/broker.class: Kafka
name: default
namespace: kafka
spec:
# Configuration specific to this broker.
config:
apiVersion: v1
kind: ConfigMap
name: kafka-broker-config
namespace: knative-eventing
# Optional dead letter sink, you can specify either:
# - deadLetterSink.ref, which is a reference to a Callable
# - deadLetterSink.uri, which is an absolute URI to a Callable (It can potentially be
out of the Kubernetes cluster)
delivery:
deadLetterSink:
ref:
apiVersion: serving.knative.dev/v1
kind: Service
name: dlq
namespace: kafka
当我手动创建订阅和频道时,我的订阅如下所示:
apiVersion: messaging.knative.dev/v1
kind: Subscription
metadata:
name: test-sub # Name of the Subscription.
namespace: kafka
spec:
channel:
apiVersion: messaging.knative.dev/v1beta1
kind: KafkaChannel
name: test-channel
delivery:
deadLetterSink:
backoffDelay: PT1S
backoffPolicy: linear
retry: 1
ref:
apiVersion: serving.knative.dev/v1
kind: Service
name: dlq
namespace: kafka
subscriber:
ref:
apiVersion: serving.knative.dev/v1
kind: Service
name: cetf
无论我做什么,我从来没有看到 dlq 吊舱旋转起来。我已经调整了重试的东西,等待了又等待,使用了默认的通道/代理、Kafka 等。我根本看不到 pod 曾经运行过。有什么我想念的吗,到底有什么问题?我可以将订阅者设置为垃圾 URI,然后 DLQ pod 启动,但如果它发送事件的服务返回错误代码,它不应该也启动吗?
任何人都可以提供几个非常基本的 YAML 文件来部署最简单的工作 DLQ 版本来进行测试吗?