问题标签 [reducers]

如果我增加映射器的数量并减少减速器的数量，那么执行时任何作业的性能（增加/减少）是否有任何差异？

另外我想问一下如何设置映射器和减速器的数量？我从来没有玩过这个设置，这就是为什么我不知道这个。我知道 hadoop，但我有代码，因为我经常使用 Hive。

此外，如果我想增加映射器和化简器的数量，那么如何设置它以及设置它的值是多少。它是否取决于实例的数量（比如说 10 个）？

请回复我我想试试这个并检查性能。谢谢。

我在 hadoop 集群上运行 Hive 作业。我才知道如果你只专注于不同的行为映射器和减速器，性能将会得到改善/改变。但是直到现在我还没有玩过它。直到没有，我只是使用 Hive 并使用默认映射器和减速器执行查询？

正如我对映射器和减速器的了解，我担心要设置映射器和减速器的值，以便性能会有所不同。我还想是只需要设置为主节点还是我们必须为所有节点设置？

任何对此有想法的人请向我解释有关此的情况。

在执行作业时我们还需要设置哪些其他参数？

我正在运行mapreduce程序，但我意识到虽然我写了一个reduce函数，但mapreduce并没有执行它。然后我尝试添加@Override，错误说reduce函数没有覆盖任何超级方法。

作业配置信息如下

减少代码如下

在 Hadoop 中，JobTracker 能否在实际数据移动之前知道每个 ReduceTask 必须检索多少数据（在 shuffle 阶段）？我正在尝试在洗牌阶段收集有关数据移动的统计信息。

在许多 MapReduce 程序中，我看到一个 reducer 也被用作组合器。我知道这是因为这些程序的特殊性质。但我想知道它们是否可以不同。

实际上，我的 reducer 键是自定义键 (word1, word2) ，我想以 "word1\tword2" 之类的格式编写输出。而我无法做到这一点。

任何帮助表示赞赏。

谢谢。

编辑：一对之间已经有 \t ......我没有注意到它！

我遇到了一个有趣的情况，现在正在寻找如何故意这样做。在我的本地单节点设置中，我从终端屏幕同时运行了 2 个作业。我的两个作业都使用相同的reducer，它们仅在映射函数（聚合键-分组依据）方面有所不同，两个作业的输出都写入了第一个作业的输出（尽管第二个作业确实创建了自己的文件夹，但它是空的）。我正在做的是提供跨各个级别的汇总聚合，这种行为对我来说很有趣，我可以在一个文件中使用来自两个不同级别的聚合输出（也可以完美排序）。

我的问题是如何在真正的 Hadoop 集群中实现相同的功能，我们有多个数据节点，即我以编程方式启动多个作业，所有作业都访问相同的输入文件，以不同方式映射数据，但使用相同的 reducer，并且输出可在一个单个文件，而不是 5 个不同的输出文件。

请指教。

在我决定问我的问题之前，我正在查看缩减阶段之后的合并输出文件。

谢谢和亲切的问候，

莫伊兹·艾哈迈德。

Inspired by Clojure 1.5's reducers library, I've been playing with making PLINQ's ParallelEnumerable.Aggregate() method behave the same way. For the most part, it very straightforwardly does.

There's one possible behavior difference that I suspect may exist, though. In Igor Ostrovsky's blog post about the 2007 CTP, he claims that combineAccumulatorsFunc has to be commutative. The modern documentation doesn't seem to say anything about it having to be commutative, and I haven't been able to force it to do anything that depends on commutativity, but I also haven't been able to force it to do anything that depends on associativity.

Main question: Are the semantics of combineAccumulatorsFunc defined anywhere? Even if not, am I going to be okay assuming that it may be called associatively but not commutatively?

I'm using the following LINQPad snippet to try to cause out-of-order combineAccumulatorsFunc invocations:

我正在尝试将以下示例转换为新的 Clojure 1.5 reducers 库：

当我更改它时 - 我收到以下错误：

有人可以给我一个正确的解决方案吗？

我有以下功能：

是否可以避免使用 clojure.core.reducers 创建中间 2 元素集合？