我正在使用 Hadoop 解析大量（大约 100 万个）文本文件，每个文件中都有大量数据。首先，我使用 Eclipse 将所有文本文件上传到 hdfs。但是在上传文件时，我的 map-reduce 操作导致以下目录 C:\tmp\hadoop-admin\dfs\data 中有大量文件。那么，是否有任何机制可以使用它来缩小 HDFS 的大小（基本上是上面提到的驱动器）。
问问题
636 次
1 回答
0
to shrink your HDFS size you can set a greater value (in bytes) to following hdfs-site.xml property
dfs.datanode.du.reserved=0
You can also lower the amount of data generated by map outputs by enabling map output compression.
map.output.compress=true
hope that helps.
于 2013-10-10T09:13:43.413 回答