1

我正在创建一个向kafka-rest-proxy发送大量数据的服务。我只是向卡夫卡发送数据(生产)。我发现 kafka-rest-proxy 很容易不堪重负并且用完 java 堆空间。我已经分配了额外的资源,甚至横向扩展了运行 kafka-rest-proxy 的主机数量,但我仍然遇到连接断开和内存问题。

我不熟悉 kafka-rest-proxy 的内部结构,但我的直觉是它正在缓冲记录并将它们异步发送到 Kafka。如果是这样,那么它有什么机制来控制背压?有没有办法对其进行配置,以便将记录同步写入 Kafka?

4

1 回答 1

0

Kafka REST Proxy 公开了 Java 生产者的所有功能,消费者的命令行工具。Rest Proxy 不需要任何背压概念。

更具体地说,Kafka 能够以惊人的速度通过网络传递消息。

您需要根据您生成和使用数据的速率来扩展代理。

于 2021-01-13T04:34:13.600 回答