0

我将 AWS EMR 5.31.0 与 Spark 2.4.6 一起使用。如附图的 RHS pic-1所示,不知何故,我无法从结构化流中读取我的 AWS Kafka 之一。

首先,RHS 只是不断显示ExecutionAllocationManager: Request to remove executorId...并以 Errors... 结束,例如要求我增加max.poll.interval.ms或减少max.poll.records,或者只是一条说 OutOfDirectMemoryError: failed to allocate xxx bytes of direct memory 而这个Kafka只有9094 端口。

相反,LHS 显示成功读取了我的另一个 Kafka,它同时打开了明文和 TLS。有 log info Transport Client Factory: Successful created connection to IP:xxx,其中 IP 是我的 Core 机器的价格 IPV4。<== 来自 MSK 用于 TLS 的 9094 端口。虽然它也有一个用于纯文本的 9092 端口,但这次我使用的是 9094。

我的目标是让我的结构化流能够阅读 RHS Kafka。ps 我的 LHS 和 RHS 的结构化流是相同的。而且我只是无法弄清楚是什么让我的结构化流甚至无法从 Kafka 读取数据......

有人可以帮我吗?非常感谢。

4

0 回答 0