当我运行“hadoop job -status xxx”时，输出以下一些列表。
Rack-local map tasks=124
Data-local map tasks=6
机架本地地图任务和数据本地地图任务有什么区别？
问问题
4480 次
2 回答
9
在数据本地任务中，不需要复制任何内容。这是因为该块与计算一样在物理上位于同一台服务器上。
下一层是机架本地任务，这里必须复制数据，因为没有可用的所需块的本地副本。请注意， rack-local 仅在网络的 rack-local 交换内复制。
还有最坏的情况，数据在本地不可用，也不在同一个机架上。因此，这必须通过两个交换机复制到运行计算的主机。我不知道是否有一个柜台，但基本上这必须是#all tasks - #data-local tasks - #rack-local tasks。
于 2012-10-07T15:55:07.120 回答
1
我要指出的是，在同一机架内的计算机之间提供千兆（或更快）网络比为更多数量的计算机提供便宜得多。
根本原因是以太网交换机不可扩展，我们无法以合理的价格为数百个端口提供这样的交换机。
因为它 hadoop 尝试至少在同一个机架上运行任务，如果不能在存储数据的节点上执行它。
于 2012-10-07T21:51:03.307 回答