伪分布式单节点集群实现
我正在使用带有 CYGWIN 的窗口 7 并成功安装了 hadoop-1.0.3。我仍然在端口(localhost:50030、localhost:50060 和 localhost:50070)上启动服务作业跟踪器、任务跟踪器和名称节点。我已经完成了单节点实现。
现在我想实现伪分布式多节点集群。我不明白如何通过网络ips划分主从系统?
对于您的 ssh 问题,只需点击单节点集群的链接:
http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
是的,您需要在 conf 文件中指定主机和从机的 IP,您可以参考以下网址: http: //www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-节点集群/
我希望这有帮助。
尝试创建要在集群中添加的 VM 数量。确保这些 VM 具有相同的 hadoop 版本。找出每个 VM 的 IP。您将在 $HADOOP_HOME/conf 中找到名为 master 和 slaves 的文件,将 VM 的 IP 提到要视为 master 的 conf/master 文件,并对带有从节点 IP 的 conf/slaves 执行相同操作。
确保这些节点具有无密码 ssh 连接。格式化你的namenode,然后运行start-all.sh。
谢谢,