hadoop - Hadoop中的VIRTUAL_MEMORY_BYTES任务计数器是什么意思？

Question

权威指南的以下摘录提供了如下所示的高级细节，但

1. 这个任务计数器中的虚拟内存到底指的是什么？
2. 如何解读它？它与 PHYSICAL_MEMORY_BYTES 有什么关系？

以下是其中一项工作的示例摘录。物理大小约为 214 GB。虚拟空间约为 611 GB。

Answer 1

1.这个任务计数器中的虚拟内存到底指的是什么？

 Virtual Memory here is used to prevent Out of Memory errors of a task,if data size doesn't fits in RAM(physical mem).
  in RAM.So a portion of memory of size what didn't fit in RAM will be used as Virtual Memory.

因此，在设置 hadoop 集群时，建议使用 1vm.swappiness =1以实现更好的性能。在 linux 系统上，vm.swappiness 默认设置为 60。值越高，内存页的交换越积极。

https://community.hortonworks.com/articles/33522/swappiness-setting-recommendation.html

2、如何解读？它与 PHYSICAL_MEMORY_BYTES 有什么关系？

swapping of memory pages from physical memory to virtual memory on disk when not enough phy mem

这是 PHYSICAL_MEMORY_BYTES 和 VIRTUAL_MEMORY_BYTES 之间的关系。