hadoop - 如何检查 hadoop 是否适合工作，

Question

我有一份工作（处理 4 GB 的数据），我检查了 CPU 使用率和内存使用率，它们都低于 10%。

Answer 1

你的工作很可能不需要更多。您可以尝试使用 TeraSort（包含在示例 jar 中）对集群进行压力测试，如果您的节点仍在以非常低的使用量运行，则可能是您的配置有问题。

Answer 2

Hadoop 附带 Benchmark 实用程序来验证 Hadoop 集群设置。

检查 Hadoop TestDFSIO。