apache-kafka - Kafka 不会在 NiFi 中接收大文件（30+ mb）

Question

我正在使用 Apache NiFi，当试图让 Kafka 获取大约 30mb 的文本文件时，PutKafka 处理器拒绝获取从我的 GetFile 处理器发送的数据。

这是我的 PutKafka 处理器的配置：

当我尝试将文件放入 PutKafka 处理器时，会发生以下情况：

我尝试更改 PutKafka 处理器中的一些值无济于事。当发送一个非常小的文本文件时，同样的设置是成功的，但它没有被管道分隔。

谢谢

Answer 1

您能否查看日志，看看那里是否有相关的堆栈跟踪并将它们粘贴到这里。我的怀疑是你超过了最大缓冲区大小并且 Kafka 本身失败了，所以消息永远不会到达主题。例如，虽然您似乎覆盖了“max.request.size”，但您的“buffer.memory”远小于您的请求大小。无论如何，堆栈跟踪都会有所帮助。