hadoop - 如何检查映射器的输入大小（以字节为单位）？

Question

我注意到在 500 个映射器中，完成时间差几乎是 3 倍。

当我检查日志时（通过 JobTracker Web 界面），我发现差异主要在于第一次溢出时间（“Finished splash 0”）。

这似乎意味着每个映射器的输入文件大小差异并不是一个真正的因素。可能不同节点之间的性能差异？欢迎任何见解/评论！

Answer 1

这实际上取决于您的映射器正在做什么来调查差异。您必须根据地图作业功能以及涉及的 I/O 和处理进行调查。

有三个问题会导致映射器的不同性能差异。

1. 本地化但依赖于节点的文件 I/O。不同的节点类型可以表现出不同的性能特征。
2. 网络 I/O ：如果您的映射器从其他地方获取数据（例如：从数据库获取数据的 Sqoop 作业），那么这是一个更重要的问题，并且通常随着映射器在不同时间执行具有不同网络特性而变化。
3. 计算密集型作业（映射器性能）：通常应该类似地影响所有映射器，但仍然依赖于节点。

此外，如果您从命令行执行作业，您应该会看到与此类似的输出（对于网络 I/O）

mapred.JobClient:     SLOTS_MILLIS_MAPS=2958530
mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
mapred.JobClient:     Launched map tasks=1
mapred.JobClient:     SLOTS_MILLIS_REDUCES=0
mapred.JobClient:   FileSystemCounters
mapred.JobClient:     HDFS_BYTES_READ=87
mapred.JobClient:     FILE_BYTES_WRITTEN=58294
mapred.JobClient:     HDFS_BYTES_WRITTEN=248301
mapred.JobClient:   Map-Reduce Framework
mapred.JobClient:     Map input records=1679
mapred.JobClient:     Physical memory (bytes) snapshot=267583488
mapred.JobClient:     Spilled Records=0
mapred.JobClient:     CPU time spent (ms)=2580
mapred.JobClient:     Total committed heap usage (bytes)=158334976
mapred.JobClient:     Virtual memory (bytes) snapshot=927236096
mapred.JobClient:     Map output records=1679
mapred.JobClient:     SPLIT_RAW_BYTES=87
mapreduce.ImportJobBase: Transferred 242.4814 KB in 2,964.2976 seconds (83.7639 bytes/sec)
mapreduce.ImportJobBase: Retrieved 1679 records.

您可以从处理和写入文件的数据以及传输时间中看到。

[编辑：]

有可用的基准测试可以帮助您检查 Hadoop 集群特征：

1. 测试DFSIO
2. MRBench