2

在网址中：http ://www.datastax.com/docs/datastax_enterprise3.2/solutions/about_hadoop

“在生产集群或数据中心上启动分析/Hadoop 节点之前，禁用虚拟节点配置非常重要。”

如果我在分析/Hadoop 节点中启用虚拟节点会发生什么？

4

1 回答 1

2

如果在 hadoop 节点上启用虚拟节点，则会通过将映射器的数量增加到至少虚拟节点的数量来降低小型 Hadoop 作业的性能。例如，如果您使用默认的 256 个虚拟节点/物理节点设置，每个 Hadoop 作业将启动 257 个映射器。这些映射器可能处理的数据太少，服务器将大部分时间用于管理这些任务而不是做有用的工作。

在一个不错的硬件上，没有数据和 256 个 vnode 的作业可能需要大约 5-10 分钟，而在没有 vnode 的情况下配置相同的作业只需要大约 20-40 秒。

于 2013-11-14T10:00:17.120 回答