hadoop - 在 hortonworks hadoop 中减小 ram 大小时出错

Question

我必须将虚拟盒的内存大小从 4 GB 减少到 1 GB。我曾尝试减少它但它是不可改变的，所以请建议以正确的方式做到这一点的方法。我附上截图。

Answer 1

当我尝试使用hadoop时发生了同样的错误，现在你可以使用这些东西了。配置 YARN 在 Hadoop 集群中，平衡 RAM、CPU 和磁盘的使用非常重要，这样处理就不会受到任何这些集群资源的限制。作为一般建议，我们发现每个磁盘和每个核心允许 1-2 个容器可以为集群利用率提供最佳平衡。因此，对于具有 12 个磁盘和 12 个内核的示例集群节点，我们将允许为每个节点分配最多 20 个容器。我们集群中的每台机器都有 48 GB 的 RAM。其中一些 RAM 应保留给操作系统使用。在每个节点上，我们将分配 40 GB RAM 供 YARN 使用，并为操作系统保留 8 GB。以下属性设置 YARN 在节点上可以使用的最大内存： 在 yarn-site.xml

<name>yarn.nodemanager.resource.memory-mb</name>

<value>40960</value>

下一步是提供 YARN 指导，指导如何将可用的总资源分解到容器中。您可以通过指定要为容器分配的最小 RAM 单元来做到这一点。我们希望最多允许 20 个容器，因此需要（40 GB 总 RAM）/（20 # 容器）= 每个容器最小 2 GB：在 yarn-site.xml

 <name>yarn.scheduler.minimum-allocation-mb</name>

 <value>2048</value>

YARN 将分配 RAM 量大于 yarn.scheduler.minimum-allocation-mb 的容器。有关更多信息，您可以访问hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/