我是 Hadoop 新手，我想了解我们如何确定任何给定集群可以拥有的最高复制因子。我知道默认设置是 3 个副本，但是如果我有一个具有 5 个节点的集群，那么在这种情况下我可以使用的最高复制因子是多少。是否有我们必须遵循的公式来确定复制因子？
谢谢
问问题
1009 次
3 回答
1
您可以使用的最高复制因子是集群中节点数量的函数（正如@Tarik 所说，您的副本不能多于集群中的节点），您的预期使用量（您计划存储多少数据）以及您的集群的存储容量。
This other SO question有一些关于容量和存储使用的计算。
于 2013-10-03T17:43:43.120 回答
0
显然，您不能拥有比节点更多的副本，因为在同一个节点上存储两个副本是没有用的。在我看来，这是上限。
于 2013-10-03T17:31:49.860 回答
0
在 Hadoop 环境中，对于 3 台从机，默认复制因子为 3 或更多。这是一个简单的公式是'N'复制因子='N'从节点。这是有关复制的更多信息http://commandstech.com/replication-factor-in-hadoop/
于 2019-02-13T14:08:01.953 回答