我们有一个小型 Hadoop 集群,其中 JobTracker 被配置为动态的(从一个节点移动到另一个节点)。我们希望通过通用 WebUI(Hadoop MapReduce Job Tracker)而不是通过命令行,使数据、日志文件和交互更加公开可用。
实现思路是让 hadoop 集群中的所有节点都打开其 Web 端口以进行出站,并为所有节点创建一个公共 DNS 别名,以便对 JobTracker 节点进行持续引用。这是最佳做法吗?还对安装最终用户可以访问的Apache Hue ( http://www.gethue.com )等前端插件感兴趣。
我知道有一种使 JobTracker 静态的能力,这可以解决这个问题,但可能会引入其他问题 - 但我确信通过制作专用节点,它消除了一些 hadoop 预期目的和集群节点的功能。
了解有关如何从战略上最好地为管理员和最终用户部署一致且可访问的 URL 的任何见解。