问题标签 [reducers]

有没有办法测试一个用于写入多个输出文件的reduceMRUnit类MultipleOutputFormat？

我的 hadoop 程序使用一个映射器，它将输入数据分成一定数量的部分，这些部分在/usr/countcomputers.txt文件中设置（由映射器函数读取）。进一步在一个部分到达每个减速器。因此，在/usr/countcomputers.txt文件中设置的数字定义了减速器的数量。在这方面我有一个问题：reducers 仅在启动 TaskTracker 的恶魔的计算机上执行，或者在所有节点上执行，包括由 JobTracker 和 Secondary NameNode 启动的 NameNode 的哪些恶魔？对我来说，知道对这个问题的回答非常重要，因为/usr/countcomputers.txt文件中设置的数字取决于它，在程序中读取。

我已经编写了用于从文本文件传递整数输入的 Java 代码，例如1 10 39 59 20 60 38，当有空格时我必须拆分字符串。

输入在单行中给出input.txt

我的代码是：

分割线后，我将分离的值用于不同的任务。我的问题是如何拆分位于同一文件中的所有值（值也在不同的行中）并将它们存储在一个数组中？

假设如果以下是input.txt中给出的输入，那么如何拆分所有值并将它们存储在一个数组中？

示例输入：

预期输出：

当我将我的代码用于上述输入时，只考虑输入文件的最后一行 - 所有前面的行都被忽略。

根据 Amazon Elastic MapReduce 上使用/可用的实例，计算要使用的正确 hadoop 映射器和缩减器数量的最佳方法是什么？（使用 mahout-core-0.7 发行版的 RecommenderJob）

Let's assume that we have 3 mappers (m1, m2 and m3) and 2 reducers (r1 and r2).

Each reducer fetches its input partitions from the generated files by each mapper.

From the job history, I can extract the total input for each reduce task, but I would like to know the contribution of each mapper to this reducer input ?

For example, the reducer r1 will receive an INPUT_r1 such as:

INPUT_r1 = ( partition fetched from m1 ) + ( partition fetched from m2 ) + ( partition fetched from m3 )

I would like to know the size of those partitions from mappers ?

这可能是一个基本问题，但在 map reduce 程序中，我想读取输入文件夹中存在的所有文件的名称而不是内容，并且我想将这些文件的名称发送到我的映射器类。配置conf=新配置（）；

这是我的主要课程，我似乎无法弄清楚。

我想说明一个理论问题（由于某种原因我有些怀疑）：如果run命令中reducer的数量没有设置，每个从节点上都会执行一个reducer？

我注意到如果我将 reducer 的数量设置为 0，combiner 将无法工作。可以在没有减速器的情况下使用组合器吗？谢谢。

我不知道它是怎么发生的，但是突然间我的输出文件hadoop reducer包含了一堆我从未放入过的字符。前几行就像：

有人可以帮忙吗？

提前致谢

当使用聚合器函数之一代替减速器时，Hadoop 是否足够聪明，可以在合并器阶段使用相同的函数？