2

我正在使用由我们部门技术人员管理的 hadoop 集群。要使用它,我只需要在两个文件(core-site.xml 和 mapred-site.xml)中设置参数就可以了。

我的问题是,有没有办法控制我的 hadoop 程序中涉及的节点数量?我知道如果我自己管理集群,我可以修改配置文件中的重复数。但由于我无权访问该文件,我似乎不走运。

我知道 setNumMapTasks() 和 setNumReduceTasks() 方法。这两种方法可以以编程方式设置 map/reduce 任务的数量。但是这些数字不一定会转化为实际运行的节点,对吧?

我听说 Amazon EC2 允许您使用命令设置涉及的节点数,常规的 hadoop 实现是否允许这样做?

谢谢。

4

1 回答 1

0

没有。它不能通过程序来完成。您可以更改配置以实现它

于 2012-04-23T02:34:37.740 回答