java - 为什么身份映射器会内存不足？

Question

在一个 reduce-only Hadoop 作业中，输入文件由身份映射器处理，并在不修改的情况下发送到 reducer。在我的一些工作中，我很惊讶地看到该工作在映射阶段失败，出现“内存不足错误”和“超出 GC 开销限制”。

据我了解，身份映射器上的内存泄漏是不可能的。这种错误的原因是什么？

Answer 1

经过几个小时的研究和反复试验，我意识到我为 TASK 组配置的机器是内存不多的小型实例，更有趣的是，我内存不足的时候是在洗牌而不是映射期间。