3

在我的程序的映射阶段，我需要知道创建的映射器的总数。这将有助于我在映射的键创建过程中（我想为每个对象发出与映射器数量一样多的键值对）。

我知道设置映射器的数量只是一个提示，但是获取实际映射器数量的方法是什么。我在 Mapper 的配置方法中尝试了以下操作：

public void configure(JobConf conf) {
    System.out.println("map tasks: "+conf.get("mapred.map.tasks"));
    System.out.println("tipid: "+conf.get("mapred.tip.id"));
    System.out.println("taskpartition: "+conf.get("mapred.task.partition"));
}

但我得到了结果：

map tasks: 1
tipid: task_local1204340194_0001_m_000000
taskpartition: 0
map tasks: 1
tipid: task_local1204340194_0001_m_000001
taskpartition: 1

这意味着（？）有两个地图任务，而不仅仅是一个，正如打印的那样（这很自然，因为我有两个小输入文件）。地图任务后的数字不应该是2吗？

目前，我只计算输入文件夹中的文件数量，但这不是一个好的解决方案，因为文件可能大于块大小并导致多个输入拆分和映射器。有什么建议么？

4

2 回答 2

3

conf.get("mapred.map.tasks"))最后，当我生成一个可执行的 jar 文件并在集群/本地运行我的程序时，它似乎确实有效。现在“地图任务”的输出是正确的。

仅当从 eclipse-plugin 在 hadoop 上本地运行我的 mapreduce 程序时，它才起作用。也许这是一个eclipse插件的问题。

我希望这会帮助其他有同样问题的人。谢谢您的回答！

于 2013-11-12T15:00:02.667 回答
1

我不认为有一个简单的方法可以做到这一点。我已经实现了我自己的 InputFormat 类，如果你这样做，你可以实现一个方法来计算 InputSplits 的数量，你可以在开始工作的过程中请求这些数量。如果您将该数字放在某个配置设置中，您可以在映射器进程中读取它。

顺便说一句，输入文件的数量并不总是映射器的数量，因为可以拆分大文件。

于 2013-10-13T09:09:55.717 回答