hadoop - hadoop集群的系统测试自动化框架

Question

我正在寻找 hadoop 集群的系统测试框架。支持的用例应包括 HDFS 的系统测试、map reduce 作业和 hive 查询。我从 apache 中找到了一个叫herriot的，但我不确定它是否仍在维护中。你们知道任何现有的框架吗？

Answer 1

请看一下HadoopTest，一个适用于 Hadoop 的可靠性测试框架

Answer 2

看看1和2对集群进行基准测试。它已经获得了测试的代码和数据。自动化它们不应该是一项艰巨的任务。

Answer 3

Hadoop 已经有了基准并保存在 test.jar 和 example.jars 中，您只需找出并自动化。来自 O'reilly 和其他书籍

  % hadoop jar $HADOOP/hadoop-*-test.jar

DFSIO测试：TestDFSIO测试HDFS的I/O性能。

它通过使用 MapReduce 作业作为并行读取或写入文件的便捷方式来做到这一点

 % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO

 command: TestFDSIO -read | -write | -clean [-nrFiles N] [-fileSize MB]
 [-resFile resultFileName] [-bufferSize Bytes] 

 ex1: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -write -nrFiles
         10 -fileSize 10000 
 ex2: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -read -nrFiles 10 -fileSize 10000

用于测试地图减少

   ex3: % hadoop jar  $HADOOP/hadoop-*-examples.jar randomwriter random-data

   ex4: % hadoop jar` $HADOOP/hadoop-*-examples.jar sort random-data sorted-data

$HADOOP = 安装这些 jar 包的 hadoop 安装路径