hadoop - 用于 Hadoop 监控的 Ganglia 或 X-trace

Question

我试图捕获hadoop任务（mapper和reducer）的磁盘I/O和网络I/O，即即时带宽、累积流量、源地址和目标地址。我发现了两种流行的 Hadoop 监控工具：Ganglia（通常与 Nagios 结合使用）和 X-Trace。Ganglia 于 2004 年由 UC Berkeley 提出，而 X-Trace 也是 UC Berkeley 于 2007 年开发的。

任何关于这两种工具的优缺点的建议都值得赞赏。

Answer 1

我将从 ganglia 或 munin 开始——它们会告诉你集群中不同机器上的资源利用率。

X-trace 是一个相当学术的项目，它生成有关分布式事务、延迟和瓶颈以及分布式系统中的控制流的数据。不幸的是，目前它并没有得到很好的支持。