有没有办法获取hdfs中所有目录和文件的最后修改时间?我想创建显示信息的页面,但我不知道如何在一个 .txt 文件中获取最后一个 mod 时间。
问问题
6502 次
3 回答
1
您可能必须遍历文件和目录,以获取每个路径的状态-您可以使用以下代码(只是示例)-但我不确定,如果您有大量文件,这将是多么有效和目录。
Configuration conf = new Configuration();
conf.set("fs.default.name", "hdfs://<namenod_ip_address:<port>");
conf.set("mapred.job.tracker", "<jobtracker_ip_address>:<port>");
conf.setBoolean("fs.hdfs.impl.disable.cache", true);
FileSystem lfs = FileSystem.get(l_configuration);
fs.getFileStatus(new Path("/your/path")).getModificationTime();
于 2013-08-04T19:07:09.113 回答
1
看看它是否有帮助:
public class HdfsDemo {
public static void main(String[] args) throws IOException {
Configuration conf = new Configuration();
conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/core-site.xml"));
conf.addResource(new Path("/Users/miqbal1/hadoop-eco/hadoop-1.1.2/conf/hdfs-site.xml"));
FileSystem fs = FileSystem.get(conf);
System.out.println("Enter the directory name : ");
BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
Path path = new Path(br.readLine());
displayDirectoryContents(fs, path);
fs.close();
}
private static void displayDirectoryContents(FileSystem fs, Path rootDir) {
// TODO Auto-generated method stub
try {
FileStatus[] status = fs.listStatus(rootDir);
for (FileStatus file : status) {
if (file.isDir()) {
System.out.println("DIRECTORY : " + file.getPath() + " - Last modification time : " + file.getModificationTime());
displayDirectoryContents(fs, file.getPath());
} else {
System.out.println("FILE : " + file.getPath() + " - Last modification time : " + file.getModificationTime());
}
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
不过需要注意的一点是,getModificationTime()返回自 1970 年 1 月 1 日 UTC 以来文件的修改时间(以毫秒为单位)。
于 2013-08-05T06:51:39.303 回答
0
hadoop fs -stat
#hadoop 命令 fs
https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/FileSystemShell.html#stat
于 2021-03-12T05:09:54.713 回答