hadoop - Hadoop cdh4：reducer 在映射器完成之前完成

Question

我看到 hadoop cdh4 的奇怪行为。在所有映射器完成之前，一些减速器已经完成。我认为所有的 reducer（调用 reduce()）都必须等到映射器完成。这是一个hadoop错误吗？他们的某些情况下，工作可能会以这种状态结束吗？我在这里想念什么？

Answer 1

有时，当 Job 倾向于失败时，您会看到 Hadoop UI 的奇怪行为。我认为你看到这个是因为你有一个任务失败或者可能更多，这是一些未能反映在 UI 中。可能是由于 tasktracker 和 jobtacker 或内部计算之间的网络通信延迟（我不太确定）。这没有很好的记录。

恐怕我不能帮助你更多。您可能想查找 Hadoop WebUI 的任何错误。如果我找到任何东西，我会回复你。