hadoop - 如何在集群中的每台机器上检索 map 和 reduce 中的指标？

Question

我需要有关集群的信息。事实上，我想检索集群中每台机器的指标。我想在运行作业后通过 Map 和 Reduce 获得指标（数字等）。可能吗？

Answer 1

Reporter正是用于这种操作。

通常，您使用 ToolRunner 以这种方式在 map 和 reduce 方法上接收 Reporter 实例。

此对象允许您的实例在集群的不同节点之间保留计数器并报告状态。