我正在使用由我们部门技术人员管理的 hadoop 集群。要使用它,我只需要在两个文件(core-site.xml 和 mapred-site.xml)中设置参数就可以了。
我的问题是,有没有办法控制我的 hadoop 程序中涉及的节点数量?我知道如果我自己管理集群,我可以修改配置文件中的重复数。但由于我无权访问该文件,我似乎不走运。
我知道 setNumMapTasks() 和 setNumReduceTasks() 方法。这两种方法可以以编程方式设置 map/reduce 任务的数量。但是这些数字不一定会转化为实际运行的节点,对吧?
我听说 Amazon EC2 允许您使用命令设置涉及的节点数,常规的 hadoop 实现是否允许这样做?
谢谢。