memory - Hadoop - 我可以将任务内存限制设置为低于 2GB

Question

如题。有谁知道如何限制hadoop的内存。我想让hadoop机器以较低的内存来完成任务。因为我想知道如果一台hadoop机器内存不足，hadoop机器会发生什么。

Answer 1

您可以通过在 hadoop-env.sh 中设置 HADOOP_NAMENODE_OPTS 来更改分配给 NameNode 的内存，以包含用于内存大小的 JVM 选项。例如，对于 Sun JVM，-Xmx2000m表示将分配 2GB 内存给 NameNode。请注意，NameNode 的 1G 内存通常足以容纳几百万个文件。