2

我是初学者程序员和hadoop学习者。在启动 maptask 和 hdfs 之前，我正在使用 5 台 PC（具有双核 cpu 和 ram 2G）测试 hadoop 完全分发模式，我知道我必须配置文件（IP 上的 etc/hosts、主机名和 hadoop 文件夹/conf/masters， slaves 文件）所以我完成了该文件的配置

在我公司的研讨会上辩论时，我的老板和负责人坚持认为即使hadoop应用程序运行状态，如果hadoop需要更多节点或集群，hadoop会自动添加更多节点是否可能？在我学习hadoop集群的时候，很多hadoop书籍和社区站点都坚持认为在配置和运行应用程序之后，我们不能添加更多的节点或集群。但是我的老板对我说，亚马逊说在运行的应用程序上添加节点是可能的。真的吗？堆栈溢出社区的hadoop高手，请告诉我真相。

4

1 回答 1

2

是的，这确实是可能的。

这是hadoop wiki中的解释。

此外，Amazon 的 EMR 可以让人们在一个正在运行的集群中即时添加 100 个节点，一旦机器启动，它们就会被主节点委派任务（未启动的映射器和/或减速器任务）。

所以，是的，这是很有可能的，并且正在使用中，而不仅仅是在理论上。

于 2013-03-11T19:13:51.723 回答