4

在运行 mapreduce 作业时，我得到如下输出：

 11/09/15 21:35:16 INFO mapreduce.Job: Counters: 24
 File System Counters
 FILE: Number of bytes read=255967
 FILE: Number of bytes written=397273
 FILE: Number of read operations=0
 FILE: Number of large read operations=0
 FILE: Number of write operations=0
 Map-Reduce Framework
 Map input records=5
 Map output records=5
 Map output bytes=45
 .......

在第一行它显示计数器：24。我在哪里可以找到有关这些计数器的更多信息。

我对大型读取操作最感兴趣=0，这些是什么？
如果有人对这些有任何了解或参考，请回复。

谢谢。

4

1 回答 1

5

我建议您看一下Tom White 的 Hadoop 书籍，尤其是第 8.1 章，他在其中详细列出了计数器及其含义。您可以在此处找到在线版本。

对于大读操作，它对应于大目录下的列表文件等大文件系统读操作的次数。它是在HADOOP-6859中引入的，它被描述为：在文件系统上，除了 listFiles 用于大目录之外，大多数操作都很小。HDFS 中引入了迭代 listFiles 以将单个大型操作分解为较小的步骤。当列出大目录下的文件时，此计数器会随着 listFiles 的每次迭代而递增。

这张票还解释了其他一些新柜台：

  • 读取操作- 读取操作的数量，例如 listStatus、getFileBlockLocations、打开等。
  • 写操作- 写操作的数量，例如创建、追加、设置权限等。

我建议您查看详细说明此处FileSystem.Statistics描述的一些其他文件系统计数器的类

于 2013-05-22T14:08:15.350 回答