0

我在 jobtracker 日志中看到以下内容： 

011-11-02 10:04:09,595 WARN org.apache.hadoop.mapred.JobInProgress: No room for reduce task. Node tracker_worker1:localhost/127.0.0.1:52295 has 62087933952 bytes free; but we expect reduce input to take 176511226508
  • 我想知道 hadoop 是如何计算出减速器输入的176511226508。
  • 我有两个小型工作节点，每个节点有 70 个演出，还有一个减速器，我该如何解决这个问题？by increasing the number of reducers?
4

1 回答 1

1

检查ResourceEstimator#getEstimatedReduceInputSize()。与往常一样，围绕 getEstimatedReduceInputSize 函数的注释很少。必须付出一些努力才能理解它。

于 2011-11-02T18:22:51.490 回答