hadoop - 在 hadoop 映射中调试失败的洗牌减少

Question

我看到输入文件的大小增加失败的洗牌增加并且作业完成时间非线性增加。

例如。

75GB took 1h
86GB took 5h

我还看到平均洗牌时间增加了 10 倍

例如。

75GB 4min
85GB 41min

有人可以指出我调试的方向吗？

Answer 1

每当您确定您的算法正确时，自动硬盘卷分区或碎片问题可能会在 75Gb 阈值之后的某个地方发生，因为您可能使用相同的文件系统来缓存结果。