hadoop配置有什么好处..
大量小型机器，每台 512 MB 内存或少量大型机器（类似于 2Gb 或 4GB 内存）
我可以选择两者中的任何一个，因为我的节点是虚拟机..
请分享你的想法..
问问题
104 次
1 回答
2
瓶颈在很大程度上取决于您使用的应用程序类型。但总的来说，恕我直言，您对记忆的假设是错误的。你应该得到更少和更快的主流机器。每台机器的配置方式取决于其角色，但大量 512 MB 的 VM 无法匹配少数 12-24 GB 具有良好网络/CPU 和磁盘的主流服务器。
标准的大容量设备是要走的路，但实际转化为：
在“横盘整理”之前，首先获得每台机器每美元的高效性能。只有在动力不足的机器上“侧身”才会变得更加昂贵。
廉价机器集群并不真正意味着“任何机器”（与某些流行的看法相反）。每个节点的开销确实很大，所以添加内存、磁盘空间和磁盘吞吐量和 CPU 一般比添加下一个节点效率更高。当然，这仅在您仍处于“大容量硬件”类别（主流快速服务器）的情况下才是正确的。应避免时钟频率、内存和磁盘的最后一英里。
因此，要回答您的问题，请购买几台具有 12 GB RAM、快速 CPU 和大型快速磁盘的千兆以太网机器。确保所有机器都在千兆交换机上运行。
顺便说一句，许多人推荐双插槽机器、Xeon CPU、RAID 磁盘和 24 GB RAM，并认为这为 Hadoop 提供了最佳性能/美元。
于 2012-10-16T09:49:17.983 回答