apache-storm - 在拓扑中可以从一个螺栓传输到另一个螺栓的最大消息大小是多少

Question

我有一个使用streamparse构建的拓扑，它接收来自kafka的输入，然后spout将消息传输到主螺栓，主螺栓计算并生成10 MB的消息，该消息必须传递给其他3个螺栓。

数据在主螺栓中成功生成，但在传输到另一个螺栓时出现以下错误

ERROR Unable to write to stream UDP:localhost:514 for appender syslog: org.apache.logging.log4j.core.appender.AppenderLoggingException: Error flushing stream UDP:localhost:514

Answer 1

您发布的日志似乎与消息大小无关。它说它不能将日志写入 localhost:514。也许您的日志记录配置错误？

据我所知，最大消息大小完全取决于您的最大堆大小，因此它取决于您的 RAM 和 JVM 配置。如果您达到 10 MB 的限制，我会感到惊讶。