问题标签 [combiners]

所以我现在已经搜索了几个小时，目前被卡住了。我得到了 3 列，其中包含数字值。在这个特定场景中，它们是测量值（英尺、英寸、四分之一英寸）。我被要求将这些列组合成一个非常具体的数字格式，如下所示：ft-in-qt/04。例如：英尺列表示 10，英寸列表示 4，四分之一英寸列表示 1。我想在新列中返回 10-04-01/04。

我在 VBA 子程序中使用 For 循环来执行一系列其他操作，因此我已将这一位包含在 for 循环的代码中。我已成功返回格式正确的文本单元格，但我发送它的公司希望它采用自定义数字格式。我应该在我的代码中添加什么才能以 ft-in-qt/04 格式获取它？

组合器使用与 reducer 相同的类和大部分相同的代码。但是问题是什么时候在 sort 和 shuffle 之前或在 reduce 之前调用它？如果在排序和洗牌之前，即在映射器之后，那么它将如何获得输入[key, list<values>]？因为这是通过排序和洗牌给出的。现在如果在排序和洗牌之后调用它，即在减速器之前，输出到组合器[key, value]就像减速器，那么减速器将如何获得输入[key, list<values>]？

阅读以下关于 Hadoop-权威指南第 4 版（第 204 页）的文章后，我感到困惑

• 在写入磁盘之前，线程首先将数据划分为与它们最终将被发送到的减速器相对应的分区。

• 在每个分区内，后台线程按键执行内存排序，如果有组合器函数，则在排序的输出上运行。

• 运行 combiner 函数可以得到更紧凑的 map 输出，因此写入本地磁盘和传输到 reducer 的数据更少。

这是我的疑问：

1）谁将执行第一个组合器或分区！

2) 当自定义组合器和自定义分区将存在时，执行步骤层次结构如何以及将是什么？

3）我们可以将压缩数据（avro，sequence ..etc）提供给自定义组合器，如果是，那么如何！

寻求简短而深入的解释！

提前致谢。

我有这个文件：

我想用这种格式创建一个新文件。

这是我使用的代码。但它并没有给我想要的结果：

如何将这些列表组合成一个唯一的键值（在这种情况下是域名？）有人可以帮助我吗？

我正在使用组合器以及映射器和减速器。

我的映射器代码如下：

我的减速器代码如下：

数据文件格式如下（只显示前10行）：

我得到的结果如下：

我希望每个键（第一列）只看到一个条目。并且正确的结果确实是通过组合每个键的部分结果来获得的。但我的问题是为什么每个键都有部分结果？

我想在我的 MR 代码中使用组合器，比如 WordCount。

我应该如何实施？

什么类型的数据从组合器传递到化简器？

如果你们中的任何人都可以向我提供Combiner 和Reducer 的代码，那就太好了。

如果你能解释一下组合器的工作方式会更好

我是 mapreduce 的新手，我正处于学习阶段。

提前致谢 ：）

组合器适合的用例是什么，组合器不适合的用例是什么。我知道组合器的功能，但我试图了解组合器有意义的不同用例。

我在 node 中有 2 个数组。

['3', '7' ]

[ 'Circulatory and Cardiovascular', 'Respiratory' ]

我想产生如下结果。

{{"id":"3","name":"循环和心血管"},{"id":"7","name":"呼吸系统"}}

以下命令有什么区别：

输出是：

组合器处理映射器的输出记录。如果将映射器输出记录馈送到组合器，那么为什么我的组合器输入记录多于映射器输出记录？

我额外获得了这 80 条记录。我不知道它们来自哪里以及它们的价值是什么。

Mapreduce 的纱线转储：