我有一个 Hadoop 集群，头节点作为主节点，其他 7 个节点配置为从节点，每个节点都有 8 个内核和 8 GB 内存。我正在尝试改变从配置文件中的参数“mapred.tasktracker.map.tasks.maximum”和从属的数量。现在，如果我的程序必须运行 40 个任务，我可以在某个日志文件或某处查看每个从属节点上运行的任务数吗？基本上，我正在寻找不同节点之间的 Map 任务分布。
问问题
1428 次
2 回答
1
执行此操作的最简单方法是使用 Hadoop 系统附带的 Web 界面。
在您的网络浏览器中，输入：jobtrack-machine-hostname:50030例如：localhost:50030
你会得到你想要的。
于 2012-04-29T20:42:52.597 回答
1
您可以安装 Ganglia 以监控来自 jobtracker 的统计信息。我在我的集群上做了这个，它很容易安装。它还允许您监控每个节点上的负载、交换、磁盘、内存使用情况等。
请参阅此处的说明：http ://wiki.apache.org/hadoop/GangliaMetrics
GOTCHA ALERT：如果您正在安装 Ganglia，您可能会获得 3.1 版，请确保您使用org.apache.hadoop.metrics.ganglia.GangliaContext31的是该页面上的内容，而不是他们在该页面上的内容。
于 2012-04-29T19:17:15.980 回答