hadoop - 在 hadoop 中创建的映射器数量

Question

要计算作业跟踪器将创建的映射器数量很容易理解。它基本上是 hdfs 文件的大小除以拆分大小。因此，如果 hdfs 文件的大小为 640MB，分割为 64MB，则作业跟踪器将创建 10 个映射器。但有时创建的映射器数量超出了您的预期。作业完成后，我会查看屏幕上的打印件以了解创建的映射器数量。

我的问题如下：是否有可能通过查看不同的日志来理解为什么创建了更多的映射器？

注意：我有一个 map reduce 作业，并且在不同时间执行相同的作业时会报告不同的映射器。尽管创建的额外映射器并不大。

Answer 1

我在阅读作业跟踪器生成的日志后发现，当已经分配的映射器需要很长时间才能完成时，会创建额外的映射器，而这些映射器只不过是落后者。

Hadoop 在分配这样一个任务时，它会执行以下操作：attempt_200707121733_0002_m_000005_1

这意味着作业跟踪器现在正尝试在第 5 个地图任务上为作业 2 分配第一次任务尝试。任务尝试从 0 开始。