我有一个 Kafka 主题,从大约 100GB 开始,我尝试使用 Hazelcast-jet 将其读入 IMap。这台机器有足够的内存,我给了它 300 GB 的堆。该主题被划分为 147 个分区,但是当我运行代码告诉管道以“最早”从主题中读取本地并行度设置为 84 时,该进程似乎没有使用很多内核,并且运行一段时间后不会地图中的条目数量应该接近于地图中的条目数量(与同时摄取到 Elastic 搜索中的数据相比)。现在该主题已经超过 500GB,我预计该进程最终会耗尽内存,但它似乎仍然没有使用很多内核并且只加载一小部分数据。
有谁知道为什么会这样?