apache-kafka - 消息在 Apache Kafka 中被截断

Question

我是 kafka 的新手，我已经在本地安装了带有默认配置的 kafka 10。现在，我面临一个问题。我正在从控制台生产者那里生成消息。如果消息大约是 4096 字节。然后，它被控制台消费者很好地消费了。但是当我从 4096 字节增加消息大小时。然后，在使用它时，消息被截断到大约 4096 字节。我没有得到问题。

怎么了 ？a) 消息是否发布不完整。b) 消息是否被不完全消费。

注意：我没有对默认设置进行任何更改，我正在使用控制台生产者和消费者。

请任何人帮助

Answer 1

可能是因为您正在使用控制台生产者并将消息复制到终端（linux）但终端将长消息截断为最大固定长度而出现问题。

Answer 2

您可能需要微调您的代理配置。检查此页面：https ://kafka.apache.org/documentation/#brokerconfigs

查找 offset.metadata.max.bytes。默认值为 4096。将此值设置为大于 4096 的值。如果这不起作用，请查找其他配置。您的问题可能是没有使用正确的配置。