performance - Hadoop CDH5 使用 1 个 MapReduce TaskTracker 在 10 个节点上的最大网络性能

Question

我正在尝试使用具有 10 个节点和 1 个 MapReduce TaskTracker 的 CDH5 Cloudera 获得最大的网络性能，但似乎无法获得流量来产生我需要的流量。我有 40G 网卡，目前最多只能获得 10G，真的很低。

使用 1 个 MapReduce TaskTracker 时，如何产生更好的性能和网络吞吐量？

运行——10 个节点 RedHat 6.6 当前网卡驱动 CDH5 内核：3.18.1

我已经停用了 9 个 MapReduce TaskTracker 节点，但仍然没有得到好的结果。

Answer 1

我终于发现你真的不需要数据节点上的任务跟踪器来进行网络 dfsio 测试，所以我停用了所有数据节点“任务跟踪器”并将任务跟踪器放在名称节点上，现在我有 write/tx 和 read/ rx 流量现在是我想要的网络吞吐量数据。