1

我愿意使用虚拟机运行 12 节点 Hadoop 集群。我有 3 台真机，每台在虚拟框中运行 4 个 datanodes 节点。我能够使用 LAN 线连接 2 台机器，并能够制作一个 8 节点集群。现在我必须通过交换机连接第三台机器，这样我才能运行一个 12 节点的集群。我的 NameNode 的 RAM 是 1 GB，所有数据节点都是 512MB。我在所有机器上使用 64 位核心 i3 处理器，每个节点的容量为 8GB。我的问题是我可以将以下提到的交换机用于我的网络拓扑吗？

http://www.flipkart.com/d-link-5-port-10-100base-t-unmanaged-switch-network/p/itmdffymrfgngzsf?pid=NSWDFFYGUQ9GHMF9&ref=1938618c-3737-471e-941b-3e4bb41972fe&srno=t_1&otracker=从搜索&查询=切换

因为它支持 100 Mbps 的速度。我的预算有限，因为它对我来说是一个大学项目。

4

2 回答 2

1

它会很慢，但会正常工作。

于 2013-03-15T17:54:25.990 回答
1

您的设置显然不适合典型的 Hadoop 工作负载。它们需要快速的网络和大量的 RAM。我敢打赌，将所有磁盘和 RAM 放在一台机器上，你会获得比使用迷你集群更好的性能。

但是，如果它仅用于教育项目，并且不打算处理中型或大型数据，也不关心性能，它将起作用。根据您的设置，我不确定 100mbs 网络是否会成为瓶颈。

于 2013-03-15T19:57:52.733 回答