我对 Apache Kafka 比较陌生。作为一个小项目的一部分，我试图将一个文本日志文件作为一条消息放在 Kafka 中。我遇到了一些编码错误。Kafka的java API（据我所知）包含大部分字符串编码的规定。
作为一种解决方法，我将日志文件逐行放入 Kafka 中，其中每一行代表一条消息，但这并不能解决我最初的问题陈述——一个文件作为一条消息。
问问题
1417 次
1 回答
1
您应该包含错误消息。
无论如何，只要生产者/代理/消费者上的最大消息大小设置允许，就应该可以在单个消息中向 Kafka 发送任意大文件。
经纪人不关心数据的类型，因为他们以二进制格式存储数据。
顺便说一句，我不确定将 Kafka 用于大文件的效率如何，因为根据 LinkedIn 的测试，最佳缓冲区大小在 64 - 128 kB 范围内。
如果我是你，我会做一些测试:)
于 2015-12-26T18:35:12.090 回答