0

我是初学者程序员和hadoop学习者。

在启动 maptask 和 hdfs 之前,我正在使用 5 台 PC(具有双核 cpu 和 ram 2G)测试 hadoop 完全分发模式,我知道我必须配置文件(IP 上的 etc/hosts、主机名和 hadoop 文件夹/conf/masters, slaves 文件)所以我完成了该文件的配置。接着,

我有一个问题

运行应用程序(如 WordCount 或 Pi Estimator)时是否可以增加(或添加)地图(不是 mapTask 或节点!)?

例如,我正在使用 10 个地图运行 Pi Estimator 应用程序,迭代 100,000,000 次。

在运行应用程序的路上,我觉得它很慢,所以我想增加map,即使hadoop状态正在运行。可能吗?如果是真的,请告诉我方法。

或者在运行应用程序之前,我可以配置配置文件(如 hdfs-site.xml 或 mapred-site.xml)以在运行应用程序时动态增加地图吗?

堆栈溢出社区的hadoop高手,请告诉我真相。

4

1 回答 1

0

你可以设置 mapred.map.tasks 并给工作一个关于你想要多少映射器的提示,但这只是一个提示,hadoop 不一定会遵守它。您可以通过设置 mapred.tasktracker.reduce.tasks.maximum 来设置一次运行的最大并发映射任务数,

设置map任务和reduce任务的数量

如何根据用于提高性能的实例数增加 hadoop 中的映射器和缩减器?

于 2013-03-12T07:23:50.160 回答