cloudera-cdh - Hadoop 地图任务卡在 100%

Question

我使用 cloudera 的 hadoop 发行版在多 peta 字节集群中运行 map reduce 作业。我看到一些地图卡在 100%。它们显示为 100%，但继续运行。经过大量的延迟，他们终于成功了，但这需要很多时间，比如有时他们从显示为 100% 的时间开始需要几个小时。

Answer 1

地图进度百分比是根据输入读取计算的。因此，如果您在读取数据之后在映射器中做了大量工作，或者在您处理的内容之前读取，您会更频繁地看到这种情况。