我是初学者程序员和hadoop学习者。
在启动 maptask 和 hdfs 之前,我正在使用 5 台 PC(具有双核 cpu 和 ram 2G)测试 hadoop 完全分发模式,我知道我必须配置文件(IP 上的 etc/hosts、主机名和 hadoop 文件夹/conf/masters, slaves 文件)所以我完成了该文件的配置。接着,
我有一个问题
运行应用程序(如 WordCount 或 Pi Estimator)时是否可以增加(或添加)地图(不是 mapTask 或节点!)?
例如,我正在使用 10 个地图运行 Pi Estimator 应用程序,迭代 100,000,000 次。
在运行应用程序的路上,我觉得它很慢,所以我想增加map,即使hadoop状态正在运行。可能吗?如果是真的,请告诉我方法。
或者在运行应用程序之前,我可以配置配置文件(如 hdfs-site.xml 或 mapred-site.xml)以在运行应用程序时动态增加地图吗?
堆栈溢出社区的hadoop高手,请告诉我真相。