hdfs - 从java获取HDFS的文件夹大小

Question

我必须具有来自 java 的子目录的 HDFS 文件夹大小。

从命令行我们可以使用 -dus 选项，但是任何人都可以帮助我如何使用 java 获得相同的选项。

Answer 1

类中的getSpaceConsumed()函数ContentSummary将返回文件/目录在集群中占用的实际空间，即它考虑了为集群设置的复制因子。

例如，如果 hadoop 集群中的复制因子设置为 3，目录大小为 1.5GB，则该getSpaceConsumed()函数将返回值为 4.5GB。

在类中使用getLength()函数ContentSummary将返回实际的文件/目录大小。

Answer 2

您可以使用getContentSummary(Path f)类提供的方法FileSystem。它返回一个可以调用该方法的ContentSummary对象，该对象将为您提供目录的大小（以字节为单位）。getSpaceConsumed()

用法 ：

package org.myorg.hdfsdemo;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class GetDirSize {

    /**
     * @param args
     * @throws IOException 
     */
    public static void main(String[] args) throws IOException {
        // TODO Auto-generated method stub

        Configuration config = new Configuration();
        config.addResource(new Path(
                "/hadoop/projects/hadoop-1.0.4/conf/core-site.xml"));
        config.addResource(new Path(
                "/hadoop/projects/hadoop-1.0.4/conf/core-site.xml"));
        FileSystem fs = FileSystem.get(config);
        Path filenamePath = new Path("/inputdir");
        System.out.println("SIZE OF THE HDFS DIRECTORY : " + fs.getContentSummary(filenamePath).getSpaceConsumed());
    }

}

高温高压

Answer 3

感谢你们。

斯卡拉版本

package com.beloblotskiy.hdfsstats.model.hdfs

import java.nio.file.{Files => NioFiles, Paths => NioPaths}
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path
import org.apache.commons.io.IOUtils
import java.nio.file.{Files => NioFiles}
import java.nio.file.{Paths => NioPaths}
import com.beloblotskiy.hdfsstats.common.Settings

/**
 * HDFS utilities
 * @author v-abelablotski
 */
object HdfsOps {
  private val conf = new Configuration()
  conf.addResource(new Path(Settings.pathToCoreSiteXml))
  conf.addResource(new Path(Settings.pathToHdfsSiteXml))
  private val fs = FileSystem.get(conf)

  /**
   * Calculates disk usage with replication factor.
   * If function returns 3G for folder with replication factor = 3, it means HDFS has 1G total files size multiplied by 3 copies space usage.
   */
  def duWithReplication(path: String): Long = {
    val fsPath = new Path(path);
    fs.getContentSummary(fsPath).getSpaceConsumed()
  }

  /**
   * Calculates disk usage without pay attention to replication factor.
   * Result will be the same with hadopp fs -du /hdfs/path/to/directory 
   */
  def du(path: String): Long = {
    val fsPath = new Path(path);
    fs.getContentSummary(fsPath).getLength()
  }

  //...
}

Answer 4

Spark-shell 工具，用于显示所有表及其使用情况

Spark-shell 的一个典型和说明性工具，循环遍历所有基、表和分区，以获取大小并报告到 CSV 文件：

//  sshell -i script.scala > ls.csv
import org.apache.hadoop.fs.{FileSystem, Path}

def cutPath (thePath: String, toCut: Boolean = true) : String =
  if (toCut) thePath.replaceAll("^.+/", "") else thePath

val warehouse = "/apps/hive/warehouse"  // the Hive default location for all databases
val fs = FileSystem.get( sc.hadoopConfiguration )

println(s"base,table,partitions,bytes")
fs.listStatus( new Path(warehouse) ).foreach( x => {
        val b = x.getPath.toString
        fs.listStatus( new Path(b) ).foreach( x => {
                val t = x.getPath.toString
                var parts = 0; var size = 0L; // var size3 = 0L
                fs.listStatus( new Path(t) ).foreach( x => {
                        // partition path is x.getPath.toString
                        val p_cont = fs.getContentSummary(x.getPath)
                        parts = parts + 1
                        size  = size  + p_cont.getLength
                        //size3 = size3 + p_cont.getSpaceConsumed
                }) // t loop
                println(s"${cutPath(b)},${cutPath(t)},${parts},${size}")
                // display opt  org.apache.commons.io.FileUtils.byteCountToDisplaySize(size)
        }) // b loop
}) // warehouse loop
System.exit(0)  // get out from spark-shell

PS：我查了一下，size3始终是3*size，没有额外的信息。