2

我正在使用带有 2 个连接器的 Kafka 连接：

  1. debezium 将数据从 Postgres 提取到 Kafka
  2. 用于将数据从 Kafka 保存到 S3 的 S3 连接器

运行时，我从 S3 连接器收到此错误

java.lang.NullPointerException: Array contains a null element at 0

我找到了相关消息，其中包含以下内容：

  "some_key": [
     "XCVB",
     null
  ]

如何处理此消息？

我尝试将以下内容添加到 S3 连接器配置中：

"behavior.on.null.values": "ignore",
"errors.tolerance": "all",
"errors.deadletterqueue.topic.name":"dlq_s3_sink"

尝试跳过这些消息并将它们发送到 DLQ，但它似乎不起作用，并且任务因此错误而失败。我也在日志中看到了这一点：

Set parquet.avro.write-old-list-structure=false to turn on support for arrays with null elements.

但不确定我应该在哪里添加这个？作为连接器配置的一部分？

4

0 回答 0